Forskare under ledning av Qi Zhang har presenterat PORA, en teknik för LLM-agenter som lär sig när längre resonemang förbättrar resultaten. Under träningen utför systemet samma steg två gånger – först med en kort och sedan med en längre gräns för resonemanget – för att se vilket alternativ som ger bäst slutresultat. När systemet används väljer en styrenhet det billigare alternativet utifrån den inlärda uppskattningen och den återstående beräkningsbudgeten, utan att köra båda. Tester på uppgifter inom minne, kod, detaljhandel och matematik visade upp till 32.9% högre poäng på ett minnesbenchmark och upp till 31% färre modellförfrågningar på matematikuppgifter.
Varför det spelar roll
Metoden gör det möjligt för utvecklare att skapa smartare AI-agenter som använder mindre molnberäkningskraft utan att prestationen försämras. Det sänker kostnaderna för tjänster som bygger på resonemang i flera steg.
