Oossa

Harness² verbessert LLM-Agenten in beruflichen Benchmarks

Ein rekursives Harness-System steigert die Leistung von GLM‑5 und Gemini 3.5 Flash in drei Benchmark-Suites.

KurzmeldungVon Von Oossa veröffentlicht: 1 Min. Lesezeit

Ein Team unter der Leitung von Yanfei Chen hat Harness² vorgestellt, ein Plug-and-play-Framework, das den Code zur Ausführung von Agenten auf Basis großer Sprachmodelle automatisch verfeinert. Das System arbeitet mit zwei Rekursionsebenen: Auf Aufgabenebene schlägt es Änderungen vor und testet sie, ohne Antworten aus einer Referenzlösung zu benötigen. Auf Harness-Ebene lernt es aus diesen Änderungen für künftige Aufgaben. In Tests mit drei professionellen Benchmarks verbesserte bereits ein einzelner Rekursionsschritt die Ergebnisse von GLM‑5 und Gemini 3.5 Flash um bis zu 11.5 Punkte bei WorkBuddy‑Bench, 4.5 Punkte bei JobBench und 11.8 Prozentpunkte bei LAB.

Warum es wichtig ist

Die Methode könnte KI-Assistenten dabei helfen, sich ohne manuell angepassten Code auf neue Aufgaben in der realen Welt einzustellen. Davon könnten Entwickler profitieren, die LLM-Agenten in wechselnden Umgebungen einsetzen.

War dieser Artikel hilfreich?
Teilen

Als Nächstes lesen

Oossa · Newsletter

Die KI-Woche, erklärt

Jeden Montag: die Nachrichten, die man kennen sollte – verständlich. Kostenlos, kein Spam.