Forskare under ledning av Boris Radovič undersökte en mellanväg mellan AI-agenter som enbart körs i molnet och små modeller som körs på enheten. Molnet skriver ett program, men när det behöver tolka användardata anropar det en liten lokal modell. Tester på AppWorld-benchmarken visade att hybridlösningen ökade den kodbaserade agentens framgångsgrad i samtliga sex kombinationer av modeller och testuppdelningar. Ökningen var som mest 14,9 procentenheter, vilket minskade en stor del av gapet till en helt molnbaserad ReAct-loop, samtidigt som integriteten skyddades.
Varför det spelar roll
Användare av edge-enheter kan få mer träffsäkra AI-assistenter utan att skicka sina privata uppgifter till molnet.
