Google Research har släppt Harness2, ett ramverk med öppen källkod som ändrar en AI-agents ramverk under testkörning. Med ramverk avses här den omgivande uppsättning som hjälper en modell att utföra en uppgift. Källan förklarar inte exakt vilka delar Harness2 skriver om eller hur det går till.
MarkTechPost rapporterar att ett förfiningssteg höjde GLM-5:s resultat med 11.5 poäng på WorkBuddy-Bench, utan att modellens vikter uppdaterades. Det tyder på att den rapporterade förbättringen kom av att agentens upplägg ändrades, snarare än att den underliggande modellen tränades på nytt. Artikeln anger inte utgångsresultatet, testkonfigurationen eller vilken grupp som genomförde benchmarktestet, så resultatet går inte att bedöma oberoende utifrån den information som finns.
Vad lanseringen innebär för utvecklare
Harness2 släpps under Apache-2.0-licensen. Den licensen tillåter utvecklare att använda, ändra och dela programvaran enligt licensvillkoren. Därmed kan forskargrupper och andra utvecklare undersöka ramverket i stället för att enbart förlita sig på en beskrivning av det.
Tillkännagivandet är begränsat: det redovisar en modell, ett benchmarktest och ett förfiningssteg. Det framgår inte om förbättringen gäller även andra modeller eller uppgifter, vilka beräkningsresurser metoden kräver eller om ramverket är redo för regelbunden användning. Sådana uppgifter behövs för att utvecklare ska kunna bedöma om Harness2 kan förbättra deras egna agenter.
Varför det spelar roll
AI-utvecklare kan granska och anpassa Harness2 under Apache-2.0-licensen. Det rapporterade resultatet tyder på att agentens upplägg kan påverka benchmarkresultat även utan att modellen tränas på nytt. Men källan redovisar inga testdetaljer eller belägg för att förbättringen gäller andra modeller eller uppgifter, så den praktiska nyttan är fortfarande osäker.
