En ny artikel på arXiv presenterar SkillNEO, en metod för att förbättra återanvändbara instruktioner – så kallade färdigheter – som AI-agenter följer när de utför uppgifter. Författarna uppger att metoden höjde GPT-5.4 Minis genomsnittliga belöning från 49.1% till 66.4% på 86 SkillsBench-uppgifter inom åtta områden, bland annat mjukvaruutveckling och kontorsarbete.
Metoden tar sig an problemet med att bara behålla den version av en färdighet som fått högst poäng: en version med sämre resultat kan ändå innehålla en användbar lösning som behöver fler redigeringar innan den ger effekt. SkillNEO väljer separat vilken version som ska användas och vilka versioner som ska vidareutvecklas. Genom att jämföra närbesläktade versioner på samma uppgift letar metoden efter fungerande steg och sådant som fortfarande behöver rättas till. Den kan också återgå till en tidigare version och revidera den utifrån belägg som samlats in senare.
Varför behålla en svagare version?
I studien utförde GPT-5.4 Mini uppgifter, föreslog revideringar och redigerade färdigheterna. Författarna utvärderade slutresultaten på samma uppgiftstillfällen som hade använts under utvecklingen av färdigheterna, i stället för att beskriva ett separat test med nya uppgifter. De uppger att resultaten förbättrades inom alla åtta områden. Poängen hamnade inom spannet för resultaten med de ursprungliga färdigheterna som rapporterats för GPT-5.5 och GPT-5.6 Luna.
Författarna testade också de modifierade färdigheterna med starkare modeller, utan att redigera färdigheterna ytterligare. På 41 uppgifter med modifierade färdigheter höjde återanvändningen Lunas poäng med 10.5 procentenheter. GPT-5.5 fick 10.6 poäng mer än sitt publicerade referensresultat med de ursprungliga färdigheterna. Enligt artikeln blev vissa versioner som hade fått lägre poäng under utvecklingen till slut de versioner som valdes för användning.
Vad resultaten visar – och inte visar
Resultaten tyder på att försök från en mindre kapabel modell kan ge användbara instruktioner till en starkare agent, även om den mindre modellen själv fortfarande missar vissa krav på uppgiften. Utvärderingen omfattar dock en specifik uppsättning med 86 benchmarkuppgifter, och slututvärderingen återanvände de uppgiftstillfällen som ingått i utvecklingen av färdigheterna. Artikeln visar därför inte hur väl metoden fungerar på uppgifter modellen inte stött på tidigare. Sammanfattningen av artikeln innehåller inga uppgifter om modellernas priser eller tillgänglighet.
Varför det spelar roll
För team som bygger AI-agenter för specifika uppgifter ger resultaten belägg för att en billigare eller svagare modell kan bidra till att förfina återanvändbara instruktioner som senare används av en starkare modell. De rapporterade förbättringarna gäller de testade benchmarkuppgifterna, så det är fortfarande oklart om de håller i sig på nya uppgifter.
