Judge, Retrieve, or Abstain: Uncertainty-Guarded LLM Judging with Provable Risk Guarantees

将大语言模型（LLM）用作自动评判器已成为大规模评估生成结果的主流范式，尤其适用于无唯一标准答案的主观任务（如帮助性、安全性评分）。然而，在开放域事实型问答等客观任务中，参考答案缺失使得LLM评判面临严峻可靠性挑战：仅依赖参数化知识易因知识盲区或幻觉导致错误判决；而引入检索增强虽可补充证据，却带来额外计算开销，且缺乏对何时、如何可靠调用工具的理论保障。更重要的是，现有方法均无法提供关于接受判决错误率（即假发现率，FDR）的形式化风险控制保证。为此，提出一种具有可证明风险保证的不确定性感知评判框架：在预留验证集上联合校准双阈值，利用有限样本Clopper–Pearson置信上界，确保所接受判决的FDR以高概率（≥1−δ）不超过用户指定水平α；当参数模式置信度不足时，自动路由至检索增强模式，借助网络搜索获取证据后重新判决。理论证明表明，该双阈值路由机制在无需额外分布假设下仍继承原始有限样本FDR保证。实验表明，该框架在多个开放域QA基准及不同规模评判模型上，显著提升覆盖度（即减少不必要的弃权），同时严格维持目标错误率，为LLM作为可信元评估器提供了首个兼具统计严谨性与实用性的解决方案。