GPT-6-Astra, som kördes i OpenAIs kodningsmiljö Codex, löste 49 av 50 problem i ett test av forskningsuppgifter inom teoretisk fysik. Enligt studiens författare kostade körningen strax under $116 totalt, eller omkring $2.40 per problem. Testet jämförde kommersiellt tillgängliga AI-agenter och gav dem inga ledtrådar från människor.
Med webbsökning aktiverad fick Anthropics Opus 5.5 i Claude Code 92 procent. Googles Gemini 3.8 Flash fick 68 procent, medan modellerna med öppna vikter DeepSeek-V4.1-Flash och GLM 5.3 fick 54 respektive 42 procent. Utan webbsökning fick Astra och Opus båda 92 procent.
Ett test av beräkningar, inte upptäckter
De 50 problemen omfattar 11 delområden, från strömningsmekanik och biologiska processer till partikelfysik och kosmologi. De består främst av rutinmässiga forskningsberäkningar: att tillämpa kända metoder på en modifierad fråga, snarare än att lösa stora olösta problem. Författarna säger att uppgifter av det här slaget kan fungera som inledande projekt för doktorander.
Ett exempel gick ut på att anpassa ekvationer från en äldre artikel om svarta hål och skriva ett eget program för att beräkna resultatet. Forskarna säger att problemen utformades så att svaren inte bara kunde kopieras från artikeln. Varje agent testades två gånger: med webbsökning och utan internetåtkomst.
Resultatet har begränsningar
Forskarna upptäckte att vissa misstag som verkade vara AI-fel i själva verket berodde på små fel i experternas referenssvar. När svaren rättades var Astras svar i de fallen korrekta. Det enda problem som Astra inte löste blev för svårt för samtliga modeller. Författarna medger också att det förväntade svaret kan ha varit orättvist svårt att lista ut.
Ett högt resultat på de här beräkningarna visar inte att AI kan välja värdefulla forskningsfrågor eller göra ett genombrott inom fysiken. Författarna säger att dagens agenter fortfarande har svårt att bedöma vilka problem som är intressanta och att byta till en mer hanterbar fråga när det behövs. Problemuppsättningen och testupplägget finns på Hugging Face.
Varför det spelar roll
För fysikstudenter och handledare tyder resultaten på att vissa beräkningstunga uppgifter, som tidigare använts som inledande forskningsprojekt, kan vara lättare att automatisera. Författarna säger att sådana uppgifter kanske inte längre lämpar sig som första projekt, om syftet inte är att öva. Testet visar inte om AI kan välja värdefulla frågor eller skapa ny fysik, så effekten på forskningen utöver dessa beräkningar är fortfarande okänd.
