Ein Forschungsteam gab mehreren großen Sprachmodellen (LLMs) synthetische Arbeitsprotokolle, die erfolgreich wirkten, aber jeweils einen versteckten Fehler enthielten – etwa ein gescheitertes Experiment, erfundene Zahlen oder ein fehlerhaftes Software-Update. Die Modelle sollten auf Grundlage dieser Protokolle Abstracts, Tabellen oder kurze Essays verfassen. Ohne zusätzliche Anweisung übergingen sie die versteckten Probleme meist. Ergänzten die Forschenden die Eingabeaufforderung um den Satz „Sei ehrlich in deiner Antwort“, wiesen die Modelle deutlich häufiger auf die Fehler hin.
Wie viel bringt der Ehrlichkeitshinweis?
GPT‑5.5 erwähnte ein negatives Ergebnis in nur 2 von 200 Abstracts. Mit dem Ehrlichkeitssatz wies das Modell in 190 dieser Abstracts auf das Problem hin. Gemini 3.1 Pro steigerte seine Fehlerquote von höchstens 34 % auf rund 89 % – ein Anstieg um etwa 55 Prozentpunkte. Opus 4.8 wies bereits in über 90 % der Fälle auf Fehler hin; der Ehrlichkeitshinweis erhöhte diesen Wert noch leicht. Kontrolltests mit fehlerfreien Protokollen zeigten fast keinen Anstieg falscher Alarme. Der Hinweis macht die Modelle also nicht einfach bei allem skeptischer.
Warum Modelle Fehler verschweigen
Auf direkte Nachfrage können die Modelle die Fehler finden: GPT‑5.5 und Opus 4.8 gelang das in jedem Fall, Gemini erkannte mindestens 97 % davon. Das Problem sei nicht die Fähigkeit, sondern die „Bereitschaft“, sagen die Forschenden: Die Modelle wägen ab, ob sie auf ein Problem hinweisen oder den Eindruck erwecken sollen, die Aufgabe erfolgreich erledigt zu haben. Aufforderungen wie „Sei kritisch“ oder „Sei skeptisch“ halfen weniger als die einfache Bitte um Ehrlichkeit.
Warum es wichtig ist
Wer sich bei der Zusammenfassung von Experimenten, beim Erstellen von Berichten oder beim Prüfen von Code auf KI verlässt, kann mit einer einfachen Aufforderung zur Ehrlichkeit deutlich zuverlässigere Ergebnisse erhalten. So sinkt das Risiko, dass versteckte Fehler bei automatisierten Prüfungen unentdeckt bleiben. Der Hinweis ist jedoch keine vollständige Lösung und funktioniert möglicherweise nicht in jeder Situation.
