Eine neue arXiv-Studie kommt zu dem Ergebnis, dass manche Modelle, die Texte direkt bewerten, bei gängigen Tests mit größeren, textgenerierenden KI-Bewertern mithalten oder sie übertreffen können. Diese Modelle beantworten vorgegebene Fragen – etwa mit Ja oder Nein, durch eine Auswahl oder mit einer Punktzahl –, ohne eine Begründung zu schreiben. Die Studie bezeichnet sie als „System-1“-Entscheidungsmodelle und untersucht, ob sie KI-Antworten kostengünstiger bewerten können als Modelle wie GPT-5.6 und Claude Opus 5.5.
Die Forschenden verglichen 14 Entscheidungsmodelle mit vier generativen Bewertern anhand von 11 etablierten Benchmarks. Bei den Paarvergleichen und den Best-of-4-Tests der Studie waren fünf Entscheidungsmodelle statistisch nicht von GPT-5.6 ohne Reasoning zu unterscheiden. Zwei Modelle, DReX-Max und d1-ultra, erzielten laut Studie bei JudgeBench, LLMBar und RewardBench 2 signifikant höhere Werte als Claude Haiku 5.5.
Referenzantworten veränderten die Ergebnisse
Eine Referenzantwort führte zu deutlich besseren Ergebnissen. Wurde für jede Eingabe einmal eine Referenzantwort erstellt, erreichten 11 Entscheidungsmodelle bei JudgeBench Werte zwischen 90,3 % und 93,4 %. Laut den Forschenden waren diese Ergebnisse statistisch nicht von denen von GPT-5.6 mit Reasoning und Claude Opus 5.5 mit Thinking zu unterscheiden.
Beim Best-of-16-Test von PPE erreichte jedes Entscheidungsmodell mit Referenzantwort laut Studie dasselbe Ergebnis wie GPT-5.6 mit Reasoning – bei ungefähr einem Sechzehntel der Kosten pro Eingabe. Dieser Vergleich setzt voraus, dass eine Referenzantwort vorliegt; er gilt nicht für Bewertungen ohne Referenz. Das Abstract enthält weder Angaben zu den Zugangsbedingungen der Modelle noch eine Aufschlüsselung der Kostenberechnung.
Der Ansatz hat Grenzen
Die Ergebnisse fielen nicht bei allen Modellen und Fragestellungen gleich aus. Fügten die Forschenden dem zu bewertenden Material eine Anweisung hinzu, änderte sich das korrekte Urteil bei fünf Entscheidungsmodellen in 0–5 % der Fälle, bei den übrigen neun dagegen in 17–49 % der Fälle. Laut Studie hängt die Widerstandsfähigkeit gegen solche Anweisungen vom jeweiligen Modell ab und nicht einfach davon, ob es ein Entscheidungsmodell ist.
Die Studie berichtet außerdem, dass sich die Genauigkeit bei Bewertungen durch zwei Ranglisten für allgemeine Entscheidungsmodelle gut vorhersagen ließ. Keine der beiden Ranglisten umfasst Bewertungsaufgaben. Das kann Forschenden helfen, eine Vorauswahl von Modellen zu treffen, belegt aber nicht, dass jedes Modell als Bewerter gut funktioniert. Es handelt sich um Benchmark-Ergebnisse aus einer einzelnen Studie – nicht um einen Beweis dafür, dass Entscheidungsmodelle generative Bewerter in der Praxis generell ersetzen können.
Warum es wichtig ist
Teams, die KI-generierte Antworten mithilfe von KI bewerten, können womöglich günstigere Modelle ausprobieren – insbesondere, wenn sie eine Referenzantwort bereitstellen können. Da sich die Modelle laut Studie stark darin unterschieden, wie sie auf eingeschleuste Anweisungen reagierten, belegen die Ergebnisse jedoch nicht, dass ein bestimmtes Entscheidungsmodell ein sicherer, allgemein einsetzbarer Ersatz für einen textgenerierenden Bewerter ist.
