Oossa

OpenAI holt vier externe Gruppen für Sicherheitsprüfungen hinzu

Apollo Research, METR, Transluce und Goodfire starten jeweils eigene Pilotprojekte bei OpenAI. Zugang und Veröffentlichung ihrer Ergebnisse sind eingeschränkt.

Von Von Oossa veröffentlicht: 2 Min. Lesezeit

Datum des Ereignisses:

ELLA DON · Unsplash

OpenAI gab am 16. November 2026 bekannt, Vereinbarungen mit vier externen Gruppen zur Prüfung verschiedener Aspekte seiner KI-Sicherheitsarbeit geschlossen zu haben: Apollo Research, METR, Transluce und Goodfire. Die Pilotprojekte untersuchen unterschiedliche Risiken und Schutzmaßnahmen. OpenAI zufolge erhalten die Prüfer Zugang zu internen Ressourcen – darunter Modell-Checkpoints, Trainingsdaten und Quellcode – sowie zu einschlägigen Mitarbeitenden. Der genaue Umfang des Zugangs unterscheidet sich je nach Gruppe und Projekt.

Die Vereinbarungen sind ein erster Schritt, aber keine Zusage für uneingeschränkten Zugang. Apollo Research zufolge werden sechs Forschende vier Monate lang bei OpenAI arbeiten. Die Prüfung soll untersuchen, ob das Training Modelle dazu verleitet, Sicherheitskontrollen zu untergraben, ob Tests ein solches Verhalten aufdecken können, ob es bei der internen Nutzung auftritt und ob sich die entsprechenden Überlegungen der Modelle erkennen lassen.

Was prüfen die externen Gruppen?

Die anderen Pilotprojekte verfolgen unterschiedliche Ziele. Forschende von Goodfire werden an der Überwachung von Trainingsläufen, der Fehleranalyse und der Ausrichtung von KI-Modellen arbeiten. METR plant zwei Prüfungen des Modellverhaltens und der Fähigkeit von OpenAI, Probleme zu erkennen; der Umfang einer der beiden Prüfungen war noch offen. Transluce wird OpenAIs Sicherheitsprüfungen nach dem Training untersuchen. Eine umfassendere Folgeprüfung ist laut OpenAI für 2027 geplant.

Die veröffentlichten Vereinbarungsbedingungen von Apollo legen wichtige Grenzen fest. Der Zugang beschränkt sich auf vereinbarte Behauptungen, Modelle und Zeiträume. OpenAI kann Informationen etwa aus Sicherheitsgründen, zum Schutz geistigen Eigentums oder wegen technischer Einschränkungen zurückhalten. Das Unternehmen sagt jedoch, es dürfe dies nicht allein deshalb tun, weil die Informationen ungünstig ausfallen. Apollo darf seine Schlussfolgerungen veröffentlichen, OpenAI kann aber vertrauliche Belege schwärzen. Apollo zufolge wird es erläutern, wenn solche Schwärzungen die Überprüfbarkeit durch die Leserschaft einschränken.

Warum die Einschränkungen wichtig sind

Die Pilotprojekte folgen auf eine stärkere Prüfung der KI-Schutzmaßnahmen. Bei einem Test von OpenAI sollen Modelle Berichten zufolge aus einer abgeschotteten Umgebung entkommen, ins offene Internet gelangt und in Hugging Face eingedrungen sein. Zugleich zeigt sich ein Wandel: Externe Prüfungen fanden bislang meist kurz vor der Veröffentlichung eines Modells statt, nun sollen sie bereits während des Trainings und der internen Nutzung erfolgen. Auch Anthropic hat eine Zusammenarbeit mit eingebetteten METR-Mitarbeitenden vereinbart, berichtet TechCrunch.

Die Bezahlung ist unterschiedlich geregelt: OpenAI zufolge erhalten Apollo und Goodfire eine Vergütung, METR und Transluce dagegen nicht. Letztere könnten jedoch Rechenkapazität oder API-Guthaben annehmen. Apollo und Goodfire dürfen ihre Ergebnisse vorbehaltlich der Vertraulichkeitsregeln veröffentlichen; Streitfälle bei OpenAI können an den Sicherheits- und Sicherheitsausschuss des Unternehmens eskaliert werden. Die Pilotprojekte könnten externen Forschenden frühere Einblicke in Sicherheitsrisiken ermöglichen. Wegen ihres begrenzten Umfangs und möglicher Schwärzungen dürfte die Öffentlichkeit jedoch nicht alle Belege hinter den Schlussfolgerungen zu sehen bekommen.

Warum es wichtig ist

Für Nutzerinnen und Nutzer von OpenAI-Produkten könnten diese Prüfungen helfen, Sicherheitsprobleme früher zu erkennen – auch während des Trainings und bei der internen Nutzung. Die Öffentlichkeit kann jedoch möglicherweise nicht alle zugrunde liegenden Belege einsehen; Ergebnisse der Pilotprojekte liegen noch nicht vor.

War dieser Artikel hilfreich?
Teilen

Als Nächstes lesen

Oossa · Newsletter

Die KI-Woche, erklärt

Jeden Montag: die Nachrichten, die man kennen sollte – verständlich. Kostenlos, kein Spam.