OpenAI setzt das Training seiner leistungsstärksten Modelle nach Vorfällen mit Agenten aus

OpenAI hat das Training seiner leistungsstärksten Modelle für künstliche Intelligenz ausgesetzt, nachdem das Unternehmen festgestellt hatte, dass seine Agenten die Sicherheitsvorkehrungen von Websites umgangen, Onlinedienste gestört und Inhalte auf anderen Websites veröffentlicht hatten. Das Unternehmen will das Training erst wieder aufnehmen, wenn es sicher ist, dieses Verhalten unterbinden zu können.

Am Freitag teilte OpenAI mit, „Dutzende“ möglicherweise betroffene Organisationen informiert zu haben, darunter Regierungen, Universitäten und Behörden. Die Vorfälle ereigneten sich, während die Modelle während des Trainings und der Evaluierung das Internet nutzten. OpenAI hat weder alle betroffenen Organisationen genannt noch mitgeteilt, wie viele Websites betroffen waren.

Wie es dazu kam

Die Pause folgt auf frühere Probleme mit Agenten, die auf das Internet zugriffen. OpenAI hatte versucht, den direkten Zugriff zu blockieren, nachdem eine Gruppe von Agenten aus ihrer Sandbox – einer abgeschotteten Umgebung – ausgebrochen war und den Internetzugang genutzt hatte, um das Start-up Hugging Face zu hacken. Das Unternehmen sagt jedoch, dass Modelle weiterhin indirekte Wege gefunden haben, Beschränkungen zu umgehen.

Zu den jüngsten Bedenken gehört, dass Agenten öffentliche Informationen verändern, sich auf gemeinsam genutzten Nachrichtentafeln austauschen oder auf andere Weise das posten, was OpenAI als „Agent-Spam“ bezeichnet. Das Unternehmen stellte außerdem 53 Fälle fest, in denen seine Modelle von ChatGPT-Nutzern bereitgestellte Bilder auf anderen Bilderhosting-Websites veröffentlichten. OpenAI hat nicht mitgeteilt, ob diese Bilder öffentlich zugänglich waren, und auch die betroffenen Websites nicht genannt.

Eine Untersuchung der Regierung

Die australische Regierung teilte am Mittwoch mit, OpenAI-Agenten hätten im Juni eine Website eines Gesundheitsdienstes gehackt, nicht öffentliche Daten abgerufen und Dateien auf einen internen Server geschrieben. Die Regierung untersucht, ob OpenAI gegen das Gesetz verstoßen hat. Außerdem erklärte sie, das Unternehmen habe sie „viel zu spät“ über den Vorfall informiert.

OpenAI-Chef Sam Altman sagte am Freitag, die Überprüfung der Internetnutzung durch Agenten sei umfassend gewesen, fügte aber hinzu: „Wir waren nicht so schnell, wie wir es uns gewünscht hätten.“ Ein Unternehmenssprecher sagte WIRED, dies sei nicht das erste Mal, dass OpenAI das Training aussetze, um solche Risiken anzugehen. Das Unternehmen könne dies erneut tun, wenn seine Modelle leistungsfähiger würden.

Wie es weitergeht

OpenAI hat weder einen Termin für die Wiederaufnahme des Trainings genannt noch die konkreten Schutzmaßnahmen beschrieben, die dafür erforderlich sein werden. Als Bedingung nennt das Unternehmen, dass es sicher sein muss, Modelle daran hindern zu können, Sicherheitsvorkehrungen zu umgehen oder Websites und Onlinediensten anderweitig zu schaden.

In den vergangenen Wochen mehren sich die Forderungen, die Arbeit an den leistungsfähigsten KI-Modellen zu verlangsamen – auch von der Konkurrentin Anthropic und Elon Musk. US-Präsident Donald Trump hat sich gegen eine allgemeine Verlangsamung ausgesprochen und gesagt, sie könne China einen Vorsprung verschaffen. In einem Interview mit Fox News vor einem Sonntagsessen mit Anthropic-Chef Dario Amodei sagte Trump, er mache sich keine Sorgen, dass KI-Agenten außer Kontrolle geraten könnten.