# 研究检验决策模型能否取代大语言模型评审

> 一项 arXiv 研究发现，在部分评测基准上，一些单次推理模型的表现可媲美甚至超过某些生成文本的评审模型；但结果因任务和模型而异。

Oossa · 2026-11-03 · https://oossa.com/zh/study-tests-whether-decision-models-can-replace-llm-judges

事件日期: 2026-10-31

一项最新的 arXiv 研究发现，一些专门对文本作出直接判断的模型，在常见评测中的表现可媲美甚至超过规模更大的生成式 AI 评审模型。这类模型回答的是有固定格式的问题，例如是非题、选择题或打分题，不会撰写解释。论文将其称为“System-1”决策模型，并考察它们能否比 GPT-5.6 和 Claude Opus 5.5 等模型更低成本地评判 AI 的回答。

研究人员在 11 个成熟基准上，将 14 个决策模型与 4 个生成式评审模型进行了比较。根据论文，在成对比较和 best-of-4 测试中，有 5 个决策模型的表现与不启用推理的 GPT-5.6 在统计上没有显著差异。论文还称，在 JudgeBench、LLMBar 和 RewardBench 2 上，DReX-Max 和 d1-ultra 的得分显著高于 Claude Haiku 5.5。

## 提供参考答案会改变结果

提供参考答案后，评审得分大幅提升。研究人员为每个提示生成一份参考答案后，11 个决策模型在 JudgeBench 上的得分达到 90.3% 至 93.4%。研究人员表示，这些得分与启用推理的 GPT-5.6 和启用思考模式的 Claude Opus 5.5 在统计上没有显著差异。

论文报告称，在 PPE 的 best-of-16 测试中，所有获得参考答案的决策模型都达到了启用推理的 GPT-5.6 的表现，而每个提示的成本约为其十六分之一。这一比较以能够获得参考答案为前提，并不代表模型在没有参考答案时也能取得同样结果。摘要没有说明模型的使用条款，也未列出成本计算明细。

## 这种方法也有局限

不同模型和评测关注点的结果并不一致。研究人员在待评材料中加入指令后，5 个决策模型有 0–5% 的案例因此改变了正确判定；其余 9 个模型的比例则为 17–49%。论文指出，抵御这类指令干扰的能力取决于具体模型，并非决策模型都具备的共同特性。

研究还报告称，两个通用决策模型排行榜对评审准确率的预测相当接近，尽管这两个排行榜都不包含评审任务。这或许能帮助研究人员初步筛选模型，但不能证明每个模型都适合担任评审。这些结论来自单项研究中的基准测试，并不能证明决策模型可以在各种真实场景中取代生成式评审模型。

## 事实

- 这项研究在 11 个基准上，将 14 个 System-1 决策模型与 4 个生成式评审模型进行了比较。
- 在 JudgeBench、LLMBar 和 RewardBench 2 上，DReX-Max 和 d1-ultra 的得分显著高于 Claude Haiku 5.5。
- 提供参考答案后，11 个决策模型在 JudgeBench 上的得分为 90.3–93.4%。
- 据论文称，在 PPE 的 best-of-16 测试中，获得参考答案的决策模型达到了启用推理的 GPT-5.6 的表现，而每个提示的成本约为其十六分之一。

## 为什么重要

使用 AI 为 AI 生成的回答打分的团队，或许可以测试一些成本更低的选择，尤其是在能够提供参考答案时。但研究发现，各模型应对注入指令的能力差异很大，因此这些结果并不能证明任何一种决策模型都能安全、普遍地取代生成文本的评审模型。

## 来源与参考

1. [To Jev or Not to Jev: When Can System-1 Decision Models Replace LLM Judges?](https://arxiv.org/abs/2611.00505) – arXiv, 2026-11-03

最后更新: 2026-11-03