Een nieuw arXiv-artikel introduceert SkillNEO, een methode om de herbruikbare instructies — skills genoemd — te verbeteren die AI-agenten volgen om taken uit te voeren. Volgens de auteurs steeg de gemiddelde beloning van GPT-5.4 Mini hiermee van 49.1% naar 66.4% op 86 SkillsBench-taken in acht domeinen, waaronder softwareontwikkeling en kantoorwerk.
De methode pakt een probleem aan dat ontstaat wanneer je alleen de versie van een skill met de hoogste score bewaart: een versie met een lagere score kan toch een nuttige verbetering bevatten, die pas na meer aanpassingen resultaat oplevert. SkillNEO bepaalt afzonderlijk welke versie wordt gebruikt en welke versies verder worden ontwikkeld. Door verwante versies op dezelfde taak te vergelijken, zoekt de methode naar stappen die werkten en fouten die nog moeten worden opgelost. Ook kan de methode teruggaan naar een eerdere versie en die aanpassen op basis van later verzameld bewijs.
Waarom een zwakkere versie bewaren?
In het onderzoek voerde GPT-5.4 Mini taken uit, stelde het aanpassingen voor en bewerkte het de skills. De auteurs evalueerden de eindresultaten op dezelfde taakgevallen die tijdens de ontwikkeling van de skills waren gebruikt; ze beschrijven dus geen afzonderlijke test op nieuwe taken. Volgens hen waren de resultaten in alle acht domeinen beter. De behaalde score lag binnen het bereik van de resultaten met de oorspronkelijke skills die voor GPT-5.5 en GPT-5.6 Luna zijn gerapporteerd.
De auteurs testten de aangepaste skills ook met sterkere modellen, zonder die skills verder te bewerken. Bij 41 taken met aangepaste skills leverde hergebruik Luna een 10.5 procentpunt hogere score op. GPT-5.5 scoorde 10.6 punten hoger dan de gepubliceerde referentiewaarde met de oorspronkelijke skills. Volgens het artikel werden sommige versies die tijdens de ontwikkeling lager scoorden uiteindelijk geselecteerd voor gebruik.
Wat de resultaten wel en niet aantonen
De bevindingen wijzen erop dat pogingen van een minder capabel model bruikbare instructies kunnen opleveren voor een sterkere agent, ook als het kleinere model zelf nog niet aan alle taakvereisten voldoet. De evaluatie omvat echter een specifieke reeks van 86 benchmarktaken, en bij de eindevaluatie werden dezelfde taakgevallen gebruikt als bij de ontwikkeling van de skills. Het artikel toont daarom niet aan hoe goed de methode werkt bij onbekende taken. De aangeleverde samenvatting van het artikel bevat geen informatie over prijzen of toegang tot de modellen.
Waarom het ertoe doet
Voor teams die AI-agenten bouwen voor specifieke taken, bieden de resultaten aanwijzingen dat een goedkoper of zwakker model kan helpen herbruikbare instructies te verfijnen die later door een sterker model worden gebruikt. De gerapporteerde winst is beperkt tot de geteste benchmarktaken; het is dus nog onbekend of die ook geldt voor nieuwe taken.
