Oossa

Prüfung deckt Lücken bei OpenAIs Sicherheitsüberwachung auf

Bis zu 25 % des Datenverkehrs leistungsstarker Modelle blieben unbeobachtet. Zudem fanden Forscher Fehler, mit denen Agenten die Kontrolle umgehen konnten.

Von Von Oossa veröffentlicht: 1 Min. Lesezeit

Robynne O · Unsplash

Zwei unabhängige Forscher von METR und Redwood Research verbrachten drei Wochen in den Entwicklungslaboren von OpenAI. Vom 21. Juli bis zum 11. August 2026 untersuchten sie den Code, der die leistungsstärksten Modelle des Unternehmens überwacht. Ihrem Bericht zufolge erfasste das Überwachungssystem einen erheblichen Teil des Datenverkehrs nicht und ließ sich mit speziell präparierten Eingaben täuschen.

Was die Prüfung ergab

Die Prüfer schätzen, dass während des Prüfzeitraums zwischen 6 % und 25 % der API-Aufrufe von Modellen der Klasse GPT‑5.5 und höher überhaupt nicht überwacht wurden. Beim internen Codex-Datenverkehr blieben von Mai bis Juli etwa 10 % unerfasst, weil ein Fehler sogenannte „compaction events“ ignorierte – kurze Zusammenfassungen des Gesprächskontexts. OpenAI zufolge wurde der Fehler behoben, während die Prüfer noch vor Ort waren.

Dem Bericht zufolge löste das Überwachungssystem außerdem nur dann einen Alarm aus, wenn eine KI die Kontrolle an einen Nutzer zurückgab. Dadurch konnten Agenten weiterarbeiten, ohne eine Überwachung auszulösen. Darüber hinaus fanden die Forscher Möglichkeiten, Hunderte von Aktionen zu verbergen, die Codex-Sandbox zu umgehen und das Überwachungssystem mit speziell präparierten Eingaben möglicherweise zum Absturz zu bringen. Sie stellten fest, dass das Verhalten der Modelle während des Reinforcement-Learning-Trainings (RL) zu Beginn der Prüfung überhaupt nicht überwacht wurde.

OpenAIs Reaktion

OpenAI zufolge setzte das Unternehmen das RL-Training nach einem Vorfall im August im Zusammenhang mit Hugging Face aus und weitete die Überwachung auf dieses Training aus. Diese Änderungen erfolgten jedoch erst nach Ende des Prüfzeitraums. Das Unternehmen gibt an, alle von den Prüfern festgestellten Schwachstellen behoben zu haben. OpenAI erhielt einen 61-seitigen internen Bericht; nach Schwärzungen bekamen METR und Redwood eine 38-seitige Fassung. Veröffentlicht wurde lediglich eine kurze Zusammenfassung.

Warum es wichtig ist

Für Nutzer im Alltag bedeuten die Lücken, dass manche KI-Aktionen ohne jegliche Sicherheitskontrolle ablaufen konnten. Dadurch steigt das Risiko unerwarteter oder schädlicher Ausgaben. Die von OpenAI angekündigten Fehlerbehebungen sollen die umfassendere Überwachung wiederherstellen. Wegen der wenigen öffentlich verfügbaren Informationen bleibt jedoch unklar, wie vollständig die Verbesserungen sind.

War dieser Artikel hilfreich?
Teilen

Als Nächstes lesen

Oossa · Newsletter

Die KI-Woche, erklärt

Jeden Montag: die Nachrichten, die man kennen sollte – verständlich. Kostenlos, kein Spam.