GPT-6-Astra, draaiend in de programmeeromgeving Codex van OpenAI, loste 49 van de 50 problemen op in een test met onderzoekstaken uit de theoretische natuurkunde. Volgens de auteurs kostte de run in totaal iets minder dan $116, oftewel ongeveer $2.40 per probleem. In de test werden commercieel beschikbare AI-agenten vergeleken, zonder aanwijzingen van mensen.
Met webzoekfunctie behaalde Opus 5.5 van Anthropic in Claude Code een score van 92%. Gemini 3.8 Flash van Google kwam uit op 68%, terwijl de open-weightmodellen DeepSeek-V4.1-Flash en GLM 5.3 respectievelijk 54% en 42% scoorden. Zonder webzoekfunctie scoorden Astra en Opus allebei 92%.
Een test van berekeningen, geen ontdekkingen
De 50 problemen bestrijken 11 deelgebieden, van stromingen in vloeistoffen en biologische processen tot de deeltjesfysica en kosmologie. Het gaat vooral om routinematige onderzoeksberekeningen: bekende methoden toepassen op een aangepaste vraag, niet om grote onopgeloste problemen te doorgronden. Volgens de auteurs kunnen dit soort taken dienen als eerste onderzoeksprojecten voor promovendi.
Bij één voorbeeld moesten vergelijkingen uit een ouder artikel over zwarte gaten worden aangepast en moest een programma op maat worden geschreven om de uitkomst te berekenen. De onderzoekers zeggen dat de problemen zo waren opgesteld dat het antwoord niet simpelweg uit het artikel kon worden overgenomen. Elke agent werd twee keer getest: met webzoekfunctie en zonder internettoegang.
De score kent beperkingen
De onderzoekers ontdekten dat sommige vermeende fouten van de AI in werkelijkheid kleine fouten waren in de referentieantwoorden van experts. Na correctie van die antwoorden bleken Astras reacties in die gevallen juist. Het enige probleem dat Astra niet oploste, bleek voor alle modellen te moeilijk; de auteurs erkennen bovendien dat het verwachte antwoord mogelijk onredelijk moeilijk af te leiden was.
Een hoge score voor deze berekeningen toont niet aan dat AI waardevolle onderzoeksvragen kan kiezen of een doorbraak in de natuurkunde kan bewerkstelligen. Volgens de auteurs hebben huidige agenten nog moeite om te beoordelen welke problemen interessant zijn en om over te stappen op een beter haalbare vraag als dat nodig is. De probleemset en testopzet zijn beschikbaar op Hugging Face.
Waarom het ertoe doet
Voor studenten natuurkunde en hun begeleiders wijzen de resultaten erop dat sommige rekenintensieve taken die ooit als eerste onderzoeksproject dienden, makkelijker te automatiseren kunnen zijn. Volgens de auteurs zijn zulke taken mogelijk niet langer geschikt als eerste project, tenzij het doel is om ermee te oefenen. De test laat niet zien of AI waardevolle vragen kan kiezen of nieuwe natuurkundige inzichten kan opleveren; de gevolgen voor onderzoek buiten deze berekeningen blijven dus onbekend.
