# Studie prövar om beslutsmodeller kan ersätta LLM-domare

> En arXiv-studie visar att flera modeller som gör en bedömning i ett enda steg kan mäta sig med eller slå vissa textgenererande domare på utvärderingstester. Resultaten varierar dock beroende på uppgift och modell.

Oossa · 2026-11-03 · https://oossa.com/sv/study-tests-whether-decision-models-can-replace-llm-judges

Händelsedatum: 2026-10-31

En ny arXiv-studie visar att vissa modeller som är byggda för att fatta direkta beslut om text kan mäta sig med eller prestera bättre än större, textgenererande AI-domare på vanliga utvärderingstester. Modellerna svarar på frågor med fasta svarsalternativ, till exempel ja eller nej, flervalsfrågor eller poäng, utan att skriva en förklaring. I artikeln kallas de ”System-1”-beslutsmodeller. Forskarna undersöker om de kan bedöma AI-svar billigare än modeller som GPT-5.6 och Claude Opus 5.5.

Forskarna jämförde 14 beslutsmodeller med fyra generativa domare på 11 etablerade riktmärken. Fem beslutsmodeller var statistiskt jämförbara med GPT-5.6 utan resonemang på studiens parvisa tester och bästa-av-4-tester. Enligt artikeln fick två modeller, DReX-Max och d1-ultra, signifikant högre poäng än Claude Haiku 5.5 på JudgeBench, LLMBar och RewardBench 2.

## Referenssvar ändrade resultaten

Att ge domaren ett referenssvar förbättrade resultaten avsevärt. När ett referenssvar genererades en gång för varje prompt fick 11 beslutsmodeller mellan 90,3 % och 93,4 % på JudgeBench. Forskarna skriver att resultaten var statistiskt jämförbara med GPT-5.6 med resonemang och Claude Opus 5.5 med tänkande aktiverat.

På PPE:s bästa-av-16-test presterade samtliga beslutsmodeller med referenssvar i nivå med GPT-5.6 med resonemang, samtidigt som de kostade ungefär en sextondel så mycket per prompt, enligt artikeln. Jämförelsen förutsätter att ett referenssvar finns tillgängligt; den gäller inte bedömning utan referenssvar. Sammanfattningen anger inte villkoren för åtkomst till modellerna eller någon uppdelning av kostnadsberäkningen.

## Metoden har begränsningar

Resultaten var inte desamma för alla modeller eller problem. När forskarna lade till en instruktion i materialet som skulle bedömas ändrades de korrekta omdömena i 0–5 % av fallen för fem beslutsmodeller, men i 17–49 % för de övriga nio. Enligt artikeln beror motståndskraften mot sådana instruktioner på den enskilda modellen, inte bara på att den är en beslutsmodell.

Studien visar också att två topplistor för beslutsmodeller avsedda för allmänna ändamål, som inte omfattar bedömningsuppgifter, kunde förutsäga träffsäkerheten vid bedömning väl. Det kan hjälpa forskare att sålla fram modeller att testa, men visar inte att alla modeller fungerar bra som domare. Resultaten gäller riktmärken i en enskild studie och bevisar inte att beslutsmodeller kan ersätta generativa domare i verkliga tillämpningar.

## Fakta

- Studien testade 14 System-1-beslutsmodeller mot fyra generativa domare på 11 riktmärken.
- DReX-Max och d1-ultra fick signifikant högre poäng än Claude Haiku 5.5 på JudgeBench, LLMBar och RewardBench 2.
- Med ett referenssvar fick 11 beslutsmodeller 90,3–93,4 % på JudgeBench.
- På PPE:s bästa-av-16-test presterade beslutsmodeller med referenssvar i nivå med GPT-5.6 med resonemang till ungefär en sextondel av kostnaden per prompt, enligt artikeln.

## Varför det spelar roll

Team som använder AI för att betygsätta AI-genererade svar kan ha billigare alternativ att testa, särskilt om de kan tillhandahålla ett referenssvar. Men studien visade stora skillnader i hur modellerna hanterade instruktioner som lagts in i materialet. Resultaten visar därför inte att någon enskild beslutsmodell är ett säkert, generellt alternativ till en textgenererande domare.

## Källor och referenser

1. [To Jev or Not to Jev: When Can System-1 Decision Models Replace LLM Judges?](https://arxiv.org/abs/2611.00505) – arXiv, 2026-11-03

Senast uppdaterad: 2026-11-03