Oossa

OpenAI-onderzoekers gebruiken codeeragents ondanks beperkingen

OpenAI zegt dat zijn onderzoekers codeeragents steeds vaker inzetten. De tools zijn goed in routinematig werk, maar vereisen nog altijd nauwlettend menselijk toezicht.

Door Gepubliceerd door Oossa: 3 min lezen

Mohammad Rahmani · Unsplash

OpenAI zegt dat zijn onderzoekers steeds vaker codeeragents gebruiken, ook al hebben die systemen moeite met complexe engineeringtaken en leveren ze code op die zorgvuldig moet worden gecontroleerd. In oktober kwam het gebruik van interne tools zoals Codex en Dots door de gemiddelde onderzoeker neer op $2,400 aan tokens per dag tegen de reguliere openbare API-lijstprijzen, 62 procent meer dan in september. Bij de meest actieve 10 procent van de gebruikers liep dat op tot $23,000 per dag.

Deze cijfers zijn een schatting van wat het gebruik tegen de openbare lijstprijzen zou kosten; het gaat niet om daadwerkelijke betalingen of de salarissen van onderzoekers. Volgens OpenAI draaiden de agents per onderzoeker per kalenderdag even lang als 5.7 werkdagen van acht uur, en bij teams voor pretraining en posttraining ongeveer acht dagen. Tijdens piekgebruik draaide meer dan twee derde van de gevolgde onderzoekers minstens vier agents tegelijk. De vergelijking van de kosten van agents met salariskosten is gebaseerd op cijfers uit september en laat aandelenbeloningen buiten beschouwing. Volgens OpenAI vormen die 70 tot 80 procent van de totale beloning van medewerkers. Het gebruik van agents was goed voor 2 procent van het totale rekenvermogen dat het bedrijf voor onderzoek inzette.

Agents zijn beter in routinetaken

Volgens OpenAI steeg het aandeel autonome agents dat taken van twee tot vier uur zonder menselijke tussenkomst afrondde, van 23 procent in maart naar 46 procent in oktober. Bij taken van vier tot acht uur steeg het gerapporteerde slagingspercentage van 13 naar 35 procent. De resultaten lopen sterk uiteen per taak: agents voerden in 79 procent van de gevallen controles op trainingsruns succesvol uit en beantwoordden in 72 procent van de gevallen technische vragen. Bij het bouwen van evaluatie- of reinforcement-learningomgevingen slaagden ze daarentegen maar in 29 procent van de gevallen, en bij het schrijven van code voor inferentie- en serveersystemen in 25 procent.

Het bedrijf beschrijft ook een grote belangstelling onder medewerkers voor de tools, maar waarschuwt dat de enquêtes beperkt zijn. In een interne, niet-representatieve enquête onder 101 medewerkers zei de gemiddelde respondent liever 40 procent van het personeel in het team of 30 procent van de rekenkracht kwijt te raken dan drie maanden zonder de huidige codeeragents te moeten. In een afzonderlijke snelle peiling onder 28 medewerkers gaven 27 van hen de voorkeur aan het nieuwste interne model boven een menselijke engineer met enkele jaren ervaring. Die antwoorden wijzen op enthousiasme onder de ondervraagde medewerkers, niet op een algemene maatstaf voor de prestaties van agents.

Menselijk beoordelingsvermogen blijft belangrijk

Uit gesprekken met tien OpenAI-onderzoekers komt een hardnekkig zwak punt naar voren: agents missen volgens de geïnterviewden het ‘gevoel’ voor veelbelovende onderzoeksideeën en voor goede code of data. Ze kunnen verkeerde aannames doen, onnodige stappen zetten en codewijzigingen of data opleveren waar onderzoekers niets mee kunnen. Volgens de onderzoekers is nauwlettend toezicht nodig om verspilling van rekentijd te voorkomen. Teams die aan posttraining en veiligheid werken, zeiden dat de belangrijkste ideeën voor GPT-6 Astra en GPT-6.2 Astra van mensen kwamen. Sommige pretrainingonderzoekers zeiden dat Codex hen hielp belangrijke inzichten op te doen tijdens hun werk aan GPT-6.2 Astra.

OpenAI presenteert de cijfers als aanwijzingen voor versnelling van onderzoek en mogelijke recursieve zelfverbetering, waarbij AI helpt om latere AI-systemen te bouwen. Maar het bedrijf waarschuwt dat de huidige resultaten mogelijk niet in een rechte lijn opschalen. The Decoder merkt ook op dat METR schatte dat AI het ontwikkelingstempo bij Anthropic tijdens een onderzoek van 11 weken bijna had verdubbeld. Dat is een schatting van een andere organisatie en geen rechtstreekse vergelijking met OpenAI. Begin september had OpenAI gezegd dat het zijn eigen doel van een geautomatiseerde AI-onderzoeksstagiair had gehaald. Hoofdwetenschapper Jakub Pachocki waarschuwde toen voor tekortkomingen op het gebied van controle en toezicht.

Waarom het ertoe doet

Voor iedereen die volgt hoe AI-onderzoek wordt uitgevoerd, laten de cijfers van OpenAI zien dat codeeragents een deel van het routinematige werk aankunnen en dat de onderzoekers toegang tot die tools waarderen. Maar de gemelde problemen met complexe engineeringtaken en de verhalen van onderzoekers over onbruikbare resultaten betekenen dat de gegevens niet aantonen dat agents het menselijke beoordelingsvermogen kunnen vervangen of het hele proces zelfstandig kunnen doorlopen.

Was dit artikel nuttig?
Delen

Lees ook

Oossa · Nieuwsbrief

De AI-week, uitgelegd

Elke maandag: het nieuws dat ertoe doet, in gewone taal. Gratis, geen spam.