Onderzoekers onder leiding van Boris Radovič verkenden een middenweg tussen AI-agenten die volledig in de cloud draaien en kleine modellen op het apparaat. De cloud schrijft een programma, maar schakelt een klein lokaal model in wanneer gebruikersgegevens moeten worden geïnterpreteerd. Tests met de AppWorld-benchmark lieten zien dat de hybride opzet de slagingskans van de agent die alleen code gebruikt bij alle zes combinaties van modellen en testindelingen verhoogde. De winst liep op tot 14,9 procentpunt. Daarmee werd een groot deel van de achterstand op een volledig in de cloud gehoste ReAct-loop goedgemaakt, terwijl de privacy behouden bleef.
Waarom het ertoe doet
Gebruikers van edge-apparaten kunnen nauwkeurigere AI-assistenten krijgen zonder hun privégegevens naar de cloud te sturen.
