Ein neues arXiv-Paper stellt SkillNEO vor – eine Methode, um wiederverwendbare Anweisungen, sogenannte Skills, für KI-Agenten zu verbessern. Die Autoren berichten, dass sich damit die durchschnittliche Belohnung von GPT-5.4 Mini bei 86 SkillsBench-Aufgaben aus acht Bereichen, darunter Softwareentwicklung und Büroarbeit, von 49.1% auf 66.4% erhöhte.
Die Methode setzt bei einem Problem an, das entsteht, wenn nur die Version eines Skills mit der höchsten Punktzahl beibehalten wird: Auch eine schlechter bewertete Version kann eine nützliche Verbesserung enthalten, die erst nach weiteren Überarbeitungen zum Erfolg führt. SkillNEO entscheidet getrennt, welche Version eingesetzt und welche weiterentwickelt werden soll. Dazu vergleicht die Methode verwandte Versionen anhand derselben Aufgabe und sucht nach erfolgreichen Schritten sowie nach Fehlern, die noch behoben werden müssen. Außerdem kann sie zu einer früheren Version zurückkehren und diese anhand später gewonnener Erkenntnisse überarbeiten.
Warum eine schwächere Version behalten?
In der Studie führte GPT-5.4 Mini Aufgaben aus, schlug Überarbeitungen vor und bearbeitete die Skills. Die Autoren werteten die Endergebnisse anhand derselben Aufgabeninstanzen aus, die auch während der Weiterentwicklung der Skills verwendet worden waren. Einen separaten Test mit neuen Aufgaben beschreiben sie nicht. Ihren Angaben zufolge verbesserten sich die Ergebnisse in allen acht Bereichen. Die erzielte Punktzahl lag innerhalb der Spanne der Ergebnisse mit den ursprünglichen Skills, die für GPT-5.5 und GPT-5.6 Luna berichtet wurden.
Die Autoren testeten die überarbeiteten Skills außerdem mit leistungsstärkeren Modellen, ohne sie zuvor weiter zu bearbeiten. Bei 41 Aufgaben verbesserten die überarbeiteten Skills Lunas Ergebnis bei der Wiederverwendung um 10.5 Prozentpunkte. GPT-5.5 lag mit den ursprünglichen Skills 10.6 Punkte über dem veröffentlichten Referenzwert. Dem Paper zufolge wurden manche Versionen, die während der Entwicklung zunächst schlechter abschnitten, später dennoch für den Einsatz ausgewählt.
Was die Ergebnisse zeigen – und was nicht
Die Ergebnisse deuten darauf hin, dass Versuche eines weniger leistungsfähigen Modells nützliche Anweisungen für einen stärkeren Agenten hervorbringen können – selbst wenn das kleinere Modell einige Anforderungen der Aufgabe noch verfehlt. Die Auswertung umfasst jedoch nur 86 konkrete Benchmark-Aufgaben; außerdem wurden bei der abschließenden Bewertung dieselben Aufgabeninstanzen verwendet wie bei der Entwicklung der Skills. Das Paper belegt daher nicht, wie gut die Methode bei unbekannten Aufgaben funktioniert. Die bereitgestellte Zusammenfassung des Papers enthält keine Angaben zu Preisen oder zum Zugang zu den Modellen.
Warum es wichtig ist
Für Teams, die KI-Agenten für bestimmte Aufgaben entwickeln, liefern die Ergebnisse Hinweise darauf, dass ein günstigeres oder weniger leistungsfähiges Modell wiederverwendbare Anweisungen verfeinern kann, die später ein stärkeres Modell nutzt. Die berichteten Fortschritte beschränken sich auf die getesteten Benchmark-Aufgaben; ob sie sich auf neue Aufgaben übertragen, ist daher noch offen.
