Uit een nieuw arXiv-onderzoek blijkt dat sommige modellen die rechtstreeks beslissingen nemen over tekst, grotere, tekstgenererende AI-beoordelaars kunnen evenaren of overtreffen op veelgebruikte evaluatietests. Deze modellen beantwoorden vragen met een vast antwoordtype, zoals ja of nee, meerkeuze of een score, zonder uitleg te geven. De onderzoekers noemen ze ‘System-1’-beslismodellen en onderzoeken of ze AI-antwoorden goedkoper kunnen beoordelen dan modellen als GPT-5.6 en Claude Opus 5.5.
De onderzoekers testten 14 beslismodellen tegenover vier generatieve beoordelaars op 11 gevestigde benchmarks. Vijf beslismodellen waren statistisch niet te onderscheiden van GPT-5.6 zonder redeneermodus bij de paarsgewijze tests en de best-of-4-tests van het onderzoek. Volgens het artikel scoorden twee modellen, DReX-Max en d1-ultra, significant hoger dan Claude Haiku 5.5 op JudgeBench, LLMBar en RewardBench 2.
Referentieantwoorden veranderden de resultaten
Een referentieantwoord meegeven verbeterde de scores aanzienlijk. Wanneer voor elke prompt één keer een referentieantwoord werd gegenereerd, scoorden 11 beslismodellen tussen 90.3% en 93.4% op JudgeBench. Volgens de onderzoekers waren die scores statistisch niet te onderscheiden van die van GPT-5.6 met redeneermodus en Claude Opus 5.5 met denkmodus.
Bij de best-of-16-test van PPE evenaarde elk beslismodel dat een referentieantwoord kreeg GPT-5.6 met redeneermodus, terwijl het per prompt ongeveer een zestiende zoveel kostte, meldt het artikel. Die vergelijking gaat ervan uit dat het referentieantwoord beschikbaar is; dit resultaat geldt dus niet voor beoordelingen zonder referentieantwoord. De samenvatting vermeldt niet onder welke voorwaarden de modellen beschikbaar zijn en geeft geen uitsplitsing van de kostenberekening.
De aanpak heeft beperkingen
De resultaten waren niet voor alle modellen en aandachtspunten hetzelfde. Toen de onderzoekers een instructie toevoegden aan het materiaal dat werd beoordeeld, veranderde het juiste oordeel bij vijf beslismodellen in 0–5% van de gevallen, maar bij de andere negen in 17–49%. Volgens het artikel hangt de mate waarin modellen weerstand bieden aan zulke instructies af van het individuele model, niet alleen van het feit dat het een beslismodel is.
Het onderzoek meldt ook dat twee ranglijsten van algemene beslismodellen, die geen beoordelingstaken bevatten, de nauwkeurigheid van beoordelingen goed voorspelden. Dat kan onderzoekers helpen een voorselectie van modellen te maken, maar bewijst niet dat elk model goed als beoordelaar werkt. Dit zijn benchmarkresultaten uit één onderzoek, geen bewijs dat beslismodellen generatieve beoordelaars in toepassingen uit de praktijk kunnen vervangen.
Waarom het ertoe doet
Teams die AI gebruiken om door AI gegenereerde antwoorden te beoordelen, kunnen mogelijk goedkopere opties uitproberen, vooral als ze een referentieantwoord kunnen meegeven. Maar het onderzoek vond grote verschillen in hoe modellen omgingen met geïnjecteerde instructies. De resultaten bewijzen dus niet dat een bepaald beslismodel een veilige, algemene vervanging is voor een tekstgenererende beoordelaar.
