Oossa

OpenAI-forskare använder kodningsagenter trots begränsningar

OpenAI uppger att forskarnas användning av kodningsagenter har ökat kraftigt. Verktygen klarar rutinuppgifter bra, men kräver fortfarande noggrann mänsklig tillsyn.

Av Publicerad av Oossa: 3 min läsning

Mohammad Rahmani · Unsplash

OpenAI uppger att forskarna använder kodningsagenter i allt större utsträckning, samtidigt som systemen har svårt med komplex ingenjörsutveckling och skriver kod som måste granskas noga. I oktober motsvarade medianforskarens användning av interna verktyg som Codex och Dots tokens till ett värde av $2,400 per dag enligt ordinarie offentliga API-listpriser, en ökning med 62 percent från september. För de 10 percent mest aktiva användarna uppgick motsvarande värde till $23,000 per dag.

Siffrorna är en uppskattning av vad användningen skulle kosta enligt offentliga listpriser. Det handlar inte om faktiska kontantbetalningar eller forskarnas löner. OpenAI uppger att agenterna kördes i en omfattning motsvarande 5.7 åttatimmarsarbetsdagar per forskare och kalenderdag, och omkring åtta dagar i teamen för för- och efterträning. Vid högsta användning körde mer än två tredjedelar av de forskare som ingick i mätningen minst fyra agenter samtidigt. Företagets jämförelse mellan agentkostnader och lönekostnader utgår från siffror för september och räknar inte in aktieersättning, som enligt OpenAI utgör 70 to 80 percent av de anställdas totala ersättning. Agentanvändningen stod för 2 percent av företagets totala beräkningskapacitet för forskning.

Agenter är bättre på rutinuppgifter

OpenAI uppger att andelen autonoma agenter som slutförde uppgifter på två till fyra timmar utan mänsklig inblandning ökade från 23 percent i mars till 46 percent i oktober. För uppgifter på fyra till åtta timmar steg den rapporterade framgångsgraden från 13 till 35 percent. Resultaten varierar kraftigt mellan olika uppgifter: agenterna klarade övervakning av träningskörningar i 79 percent av fallen och besvarade tekniska frågor i 72 percent av fallen. Men de lyckades bara i 29 percent av fallen med att bygga miljöer för utvärdering eller förstärkningsinlärning, och i 25 percent av fallen med att skriva kod för inferens- och serveringssystem.

Företaget beskriver också ett starkt intresse bland de anställda för verktygen, men påpekar att undersökningarna är begränsade. I en intern, icke-representativ enkät med 101 anställda sade den typiska respondenten att hen hellre skulle förlora 40 percent av teamets personal eller 30 percent av dess beräkningskapacitet än vara utan dagens kodningsagenter i tre månader. I en separat snabb enkät med 28 anställda föredrog 27 den senaste interna modellen framför en mänsklig ingenjör mitt i karriären. Svaren visar entusiasmen bland de tillfrågade, inte hur agenter presterar generellt.

Mänskligt omdöme behövs fortfarande

Intervjuer med tio OpenAI-forskare pekar på en återkommande svaghet: agenterna saknar vad de intervjuade kallade ”känsla” för lovande forskningsidéer och för bra kod eller data. De kan bygga på felaktiga antaganden, ta onödiga steg och producera kodändringar eller data som forskarna inte kan använda. Forskarna sade att noggrann tillsyn behövs för att undvika slöseri med beräkningskapacitet. Team som arbetar med efterträning och säkerhet uppgav att de viktigaste idéerna bakom GPT-6 Astra och GPT-6.2 Astra kom från människor. Vissa forskare inom förträning sade att Codex hjälpte dem att nå viktiga insikter i arbetet med GPT-6.2 Astra.

OpenAI framställer siffrorna som tecken på att forskningen går snabbare och på möjligheten till rekursiv självförbättring, där AI bidrar till att bygga senare AI-system. Men företaget varnar för att dagens resultat kanske inte kan skalas upp linjärt. The Decoder påpekar också att METR uppskattade att AI-användning nästan hade fördubblat utvecklingstakten hos Anthropic under en granskning på 11 veckor. Det är en uppskattning från en annan organisation, inte en direkt jämförelse med OpenAI. OpenAI hade i början av september sagt att företaget nått sitt eget mål om en automatiserad AI-forskningspraktikant, samtidigt som chefsforskaren Jakub Pachocki varnade för brister i kontroll och tillsyn.

Varför det spelar roll

För den som följer hur AI-forskning bedrivs visar OpenAIs siffror att kodningsagenter kan ta hand om vissa rutinuppgifter och att forskarna värdesätter tillgången till dem. Men de rapporterade misslyckandena inom komplex ingenjörsutveckling, tillsammans med forskarnas berättelser om oanvändbara resultat, visar inte att agenter kan ersätta forskarnas omdöme eller arbeta självständigt genom hela processen.

Var den här artikeln användbar?
Dela

Läs vidare

Oossa · Nyhetsbrev

Veckans AI, förklarad

Varje måndag: nyheterna som är värda att känna till, på enkel svenska. Gratis, ingen spam.