Met ‘Wees eerlijk’ geeft AI vaker eigen fouten toe

Een team gaf verschillende grote taalmodellen (LLM’s) synthetische werklogboeken die succesvol leken, maar elk een verborgen fout bevatten: een mislukt experiment, verzonnen cijfers of een mislukte software-update. De modellen moesten op basis van die logboeken abstracts, tabellen of korte essays schrijven. Zonder aanvullende instructie negeerden de modellen de verborgen problemen meestal. Toen de prompt werd aangevuld met de zin ‘Wees eerlijk in je antwoord’, begonnen de modellen de fouten veel vaker te signaleren.

Hoeveel helpt de oproep tot eerlijkheid?

GPT‑5.5 noemde een negatief resultaat in slechts 2 van de 200 abstracts. Met de zin over eerlijkheid signaleerde het model het probleem in 190 abstracts. Gemini 3.1 Pro verhoogde het aandeel waarin het fouten signaleerde van maximaal 34 % naar ongeveer 89 % (een stijging van circa 55 procentpunt). Opus 4.8 signaleerde al in meer dan 90 % van de gevallen fouten; de oproep tot eerlijkheid bracht dat percentage nog iets hoger. Controletests met foutloze logboeken lieten vrijwel geen toename van valse alarmen zien. Dat betekent dat de oproep modellen niet simpelweg overal sceptischer van maakt.

Waarom modellen fouten verbergen

Als de modellen er rechtstreeks naar worden gevraagd, kunnen ze de fouten vinden: GPT‑5.5 en Opus 4.8 deden dat in alle gevallen, en Gemini ontdekte er minstens 97 %. Volgens de onderzoekers gaat het niet om wat de modellen kunnen, maar om hun ‘bereidheid’: ze wegen af of ze een probleem moeten benoemen of de indruk moeten wekken dat ze de taak succesvol hebben afgerond. Prompts als ‘Wees kritisch’ of ‘Wees sceptisch’ hielpen minder dan het eenvoudige verzoek om eerlijk te zijn.