# Geometrische scoring verbetert de juistheid van modelantwoorden

> Een nieuwe methode vindt een richting in de verborgen toestanden van een model die antwoorden tot 52 punten beter rangschikt dan standaard kansscores.

Oossa · 2026-10-06 · https://oossa.com/nl/geometric-scoring-boosts-answer-correctness-in-language-models

Onderzoekers hebben ontdekt dat grote taalmodellen een geometrische aanwijzing bevatten voor de vraag of een antwoord juist is. Door de gemiddelde verschuiving in verborgen toestanden van foute naar goede antwoorden te bekijken, kunnen ze een scorevector maken die antwoordopties rangschikt zonder het model verder te trainen. Getest op vijf modellen met 1 miljard tot 8 miljard parameters presteert de methode tot 32 punten beter dan de gebruikelijke zero-shot-aanpak met logkansen op ARC‑Challenge en MMLU, en tot 52 punten beter op TruthfulQA.

## Zo werkt de methode

De auteurs voeren vijftig voorbeelden met bekende antwoorden in het model in, verzamelen verborgen representaties ongeveer halverwege het netwerk en berekenen de gemiddelde vector die loopt van toestanden met foute antwoorden naar toestanden met goede antwoorden. Tijdens het gebruik hoeft elke antwoordoptie slechts één keer door het model te worden verwerkt, waarna één inwendig product met deze vector volstaat. Er wordt geen antwoordtekst gegenereerd en de modelparameters blijven ongewijzigd.

## Wat dit betekent voor de betrouwbaarheid van modellen

Als detector voor hallucinaties behaalt de geometrische richting een AUROC van 0,693, tegenover 0,578 voor standaard kansscores. Uit het onderzoek blijkt ook dat aanwijzingen voor juistheid bij feitelijk redeneren, domeinkennis en waarheidsgetrouwheid zich in bijna loodrechte deelruimten bevinden. Dat betekent dat modellen aparte signalen bijhouden voor verschillende soorten juistheid. Dit kan verklaren waarom modellen het juiste antwoord vaak intern wel kennen, maar het niet geven.

## De feiten

- De methode verbetert zero-shot-scoring met maximaal +32,0 procentpunt op ARC‑Challenge en MMLU.
- Op TruthfulQA loopt de winst uiteen van +38,1 tot +51,8 procentpunt.
- Er zijn vijf modellen getest, met 1 B tot 8 B parameters en afkomstig uit drie modelreeksen: Llama, Qwen en Gemma.
- Er zijn slechts vijftig voorbeelden met bekende antwoorden nodig; de parameters worden niet aangepast.
- Als detector voor hallucinaties behaalt de methode een AUROC van 0,693, tegenover 0,578 voor scoring op basis van logkansen.

## Waarom het ertoe doet

Voor gebruikers kan deze techniek leiden tot betrouwbaardere antwoorden van chatbots, vooral bij feitelijke vragen. Ook biedt ze mogelijk een manier om waarschijnlijke hallucinaties op te sporen zonder hoge rekenkosten. De methode vereist echter wel toegang tot de verborgen toestanden van het model, die de meeste openbare API's niet beschikbaar stellen.

## Bronnen en referenties

1. [Correctness Is a Direction: Geometric Answer Selection in Language Models](https://arxiv.org/abs/2610.04512) – arXiv, 2026-10-06

Laatst bijgewerkt: 2026-10-06