OpenAI zufolge nutzen die Forschenden des Unternehmens Coding-Agenten immer intensiver, obwohl die Systeme bei komplexen Entwicklungsaufgaben Schwierigkeiten haben und der erzeugte Code sorgfältig geprüft werden muss. Im Oktober entsprach der Median der Nutzung interner Tools wie Codex und Dots durch Forschende Tokenkosten von $2,400 pro Tag zu den regulären Listenpreisen der API – 62 Prozent mehr als im September. Bei den aktivsten 10 Prozent der Nutzer lag der entsprechende Wert bei $23,000 pro Tag.
Diese Zahlen schätzen, was die Nutzung zu den öffentlichen Listenpreisen kosten würde; es handelt sich weder um tatsächliche Zahlungen noch um die realen Gehälter der Forschenden. Nach Angaben von OpenAI liefen die Agenten pro Forschendem und Kalendertag insgesamt so lange wie an 5.7 achtstündigen Arbeitstagen, in Teams für Pre- und Post-Training waren es etwa acht Tage. In Spitzenzeiten ließen mehr als zwei Drittel der erfassten Forschenden mindestens vier Agenten gleichzeitig laufen. Für den Vergleich der Agentenkosten mit den Gehaltskosten verwendet das Unternehmen September-Zahlen und lässt Aktienvergütungen außen vor. Diese machten laut OpenAI 70 bis 80 Prozent der Gesamtvergütung der Beschäftigten aus. Der Einsatz von Agenten entsprach 2 Prozent des gesamten Forschungs-Rechenaufwands des Unternehmens.
Bei Routineaufgaben schneiden Agenten besser ab
OpenAI zufolge stieg der Anteil autonomer Agenten, die Aufgaben mit einer Dauer von zwei bis vier Stunden ohne menschliches Eingreifen erledigten, von 23 Prozent im März auf 46 Prozent im Oktober. Bei Aufgaben, die vier bis acht Stunden dauerten, erhöhte sich die angegebene Erfolgsquote von 13 auf 35 Prozent. Die Ergebnisse unterscheiden sich je nach Aufgabe deutlich: Agenten überwachten Trainingsläufe in 79 Prozent der Fälle erfolgreich und beantworteten technische Fragen in 72 Prozent der Fälle. Beim Aufbau von Evaluierungs- oder Reinforcement-Learning-Umgebungen waren sie dagegen nur in 29 Prozent der Fälle erfolgreich, beim Schreiben von Code für Inferenz- und Serving-Systeme in 25 Prozent.
Das Unternehmen beschreibt auch eine große Begeisterung der Beschäftigten für die Tools, mahnt aber zur Vorsicht: Die Umfragen seien nur begrenzt aussagekräftig. In einer internen, nicht repräsentativen Befragung von 101 Beschäftigten gab der Median der Befragten an, sie würden lieber auf 40 Prozent der Teammitglieder oder 30 Prozent der Rechenkapazität ihres Teams verzichten, als drei Monate ohne die aktuellen Coding-Agenten auszukommen. Bei einer separaten Kurzumfrage unter 28 Beschäftigten bevorzugten 27 das neueste interne Modell gegenüber einem menschlichen Ingenieur mit mittlerer Berufserfahrung. Die Antworten belegen die Begeisterung der befragten Beschäftigten, sind aber kein allgemeines Maß für die Leistungsfähigkeit von Agenten.
Menschliches Urteilsvermögen bleibt wichtig
Interviews mit zehn OpenAI-Forschenden deuten auf eine anhaltende Schwäche hin: Den Agenten fehlt nach Einschätzung der Befragten der „Geschmack“ dafür, welche Forschungsideen vielversprechend sind und welcher Code oder welche Daten gut sind. Sie können falsche Annahmen treffen, unnötige Schritte unternehmen und Codeänderungen oder Daten erzeugen, die Forschende nicht verwenden können. Die Forschenden sagten, eine engmaschige Kontrolle sei nötig, um vergeudete Rechenzeit zu vermeiden. Teams aus den Bereichen Post-Training und Sicherheit zufolge stammten die entscheidenden Ideen für GPT-6 Astra und GPT-6.2 Astra von Menschen. Einige Pretraining-Forschende sagten dagegen, Codex habe ihnen bei der Arbeit an GPT-6.2 Astra geholfen, wichtige Erkenntnisse zu gewinnen.
OpenAI stellt die Zahlen als Hinweise auf eine Beschleunigung der Forschung und eine mögliche rekursive Selbstverbesserung dar, bei der KI beim Aufbau späterer KI-Systeme hilft. Zugleich warnt das Unternehmen, dass sich die aktuellen Ergebnisse nicht unbedingt linear hochrechnen lassen. The Decoder merkt außerdem an, dass METR während einer 11-wöchigen Untersuchung schätzte, der Einsatz von KI habe das Entwicklungstempo bei Anthropic fast verdoppelt. Das ist die Schätzung einer anderen Organisation und kein direkter Vergleich mit OpenAI. Anfang September hatte OpenAI erklärt, das eigene Ziel eines automatisierten KI-Forschungspraktikanten erreicht zu haben. Chef-Wissenschaftler Jakub Pachocki warnte jedoch vor Lücken bei Kontrolle und Aufsicht.
Warum es wichtig ist
Für alle, die verfolgen, wie KI-Forschung betrieben wird, zeigen OpenAIs Zahlen, dass Coding-Agenten Routineaufgaben übernehmen können und die Forschenden des Unternehmens ihren Zugang zu ihnen schätzen. Die gemeldeten Schwierigkeiten bei komplexen Entwicklungsaufgaben und die Berichte über unbrauchbare Ergebnisse zeigen jedoch, dass die Daten nicht belegen, dass Agenten menschliches Urteilsvermögen in der Forschung ersetzen oder den gesamten Prozess selbstständig bewältigen können.