GPT-6-Astra löste in OpenAIs Codex-Programmierumgebung 49 von 50 Aufgaben in einem Test zu Forschungsfragen der theoretischen Physik. Die Autoren der Studie geben die Gesamtkosten des Durchlaufs mit knapp $116 an, also rund $2.40 pro Aufgabe. Verglichen wurden kommerziell verfügbare KI-Agenten, die keine Hinweise von Menschen erhielten.
Mit aktivierter Websuche erreichte Opus 5.5 von Anthropic in Claude Code 92%. Googles Gemini 3.8 Flash kam auf 68%, die Open-Weight-Modelle DeepSeek-V4.1-Flash und GLM 5.3 auf 54% beziehungsweise 42%. Ohne Websuche erzielten Astra und Opus jeweils 92%.
Ein Test für Berechnungen, nicht für Entdeckungen
Die 50 Aufgaben decken 11 Teilgebiete ab – von Strömungen und biologischen Prozessen bis hin zur Teilchenphysik und Kosmologie. Meist geht es um routinemäßige Forschungsberechnungen: Bekannte Methoden werden auf eine abgewandelte Fragestellung angewandt, statt große offene Probleme zu lösen. Laut den Autoren eignen sich Aufgaben dieser Art als Einstiegsprojekte für Promovierende.
Bei einer Aufgabe mussten Gleichungen aus einer älteren Arbeit über Schwarze Löcher angepasst und ein eigenes Programm geschrieben werden, um das Ergebnis zu berechnen. Die Forscher sagen, die Aufgaben seien so gestaltet worden, dass sich die Antwort nicht einfach aus der Arbeit übernehmen ließ. Jeder Agent durchlief den Test zweimal: einmal mit Websuche und einmal ohne Internetzugang.
Die Aussagekraft des Ergebnisses ist begrenzt
Die Forscher stellten fest, dass manche vermeintlichen KI-Fehler auf kleine Ungenauigkeiten in den Referenzantworten der Experten zurückzuführen waren. Nach deren Korrektur waren Astras Antworten in diesen Fällen richtig. An der einzigen Aufgabe, die Astra nicht lösen konnte, scheiterten alle Modelle; die Autoren räumen zudem ein, dass die erwartete Antwort möglicherweise unangemessen schwer herzuleiten war.
Ein hoher Wert bei solchen Berechnungen zeigt nicht, dass eine KI lohnende Forschungsfragen auswählen oder einen Durchbruch in der Physik erzielen kann. Den Autoren zufolge tun sich aktuelle Agenten weiterhin schwer damit, interessante Probleme zu erkennen und bei Bedarf zu einer leichter lösbaren Frage zu wechseln. Der Aufgabensatz und der Testaufbau sind auf Hugging Face verfügbar.
Warum es wichtig ist
Für Physikstudierende und ihre Betreuer legen die Ergebnisse nahe, dass sich manche berechnungsintensive Aufgaben, die bislang als Einstiegsprojekte in der Forschung dienten, leichter automatisieren lassen. Die Autoren sagen, solche Aufgaben könnten sich als erste Projekte weniger eignen – außer zum Üben. Der Test zeigt nicht, ob KI wertvolle Fragestellungen auswählen oder neue Physik hervorbringen kann. Welche Auswirkungen sie über diese Berechnungen hinaus auf die Forschung haben könnte, bleibt daher offen.
