Google Research heeft Harness2 uitgebracht, een opensourceframework dat de inrichting van een AI-agent tijdens het testen aanpast. Een harness is de omgeving die een model helpt een taak uit te voeren. De bron legt niet precies uit welke onderdelen Harness2 herschrijft of hoe het dat doet.
Volgens MarkTechPost steeg de score van GLM-5 op WorkBuddy-Bench na één verfijningsstap met 11,5 punten, zonder dat de modelgewichten werden aangepast. Dat wijst erop dat de gemelde verbetering voortkwam uit een aangepaste agentinrichting, en niet uit het opnieuw trainen van het onderliggende model. Het artikel vermeldt geen beginscore, testconfiguratie of groep die de benchmark heeft uitgevoerd. Op basis van de beschikbare informatie is het resultaat daarom niet onafhankelijk te beoordelen.
Wat de release ontwikkelaars vertelt
Harness2 is uitgebracht onder de Apache-2.0-licentie. Die licentie staat ontwikkelaars toe de software te gebruiken, aan te passen en te delen, onder de voorwaarden ervan. Zo kunnen onderzoeksteams en andere ontwikkelaars het framework zelf bekijken, in plaats van alleen op een beschrijving ervan af te gaan.
De aankondiging is beperkt van opzet: er wordt één model, één benchmark en één verfijningsstap genoemd. Er staat niet bij of de winst ook geldt voor andere modellen of taken, hoeveel rekenkracht de methode vereist of dat het framework klaar is voor routinematig gebruik. Die informatie is van belang voordat ontwikkelaars kunnen beoordelen of Harness2 hun eigen agents kan verbeteren.
Waarom het ertoe doet
AI-ontwikkelaars kunnen Harness2 onder de Apache-2.0-licentie bekijken en aanpassen. Het gemelde resultaat wijst erop dat de inrichting van een agent benchmarkscores kan beïnvloeden, ook zonder een model opnieuw te trainen. De bron geeft echter geen testdetails of bewijs dat de winst ook voor andere modellen of taken geldt. De praktische waarde blijft daarom onzeker.
