Forschende unter der Leitung von Boris Radovič untersuchten einen Mittelweg zwischen KI-Agenten, die ausschließlich in der Cloud laufen, und kleinen Modellen direkt auf dem Gerät. Die Cloud schreibt ein Programm, greift zur Auswertung von Nutzerdaten jedoch auf ein kleines lokales Modell zurück. Tests mit dem AppWorld-Benchmark zeigten, dass das hybride Design die Erfolgsquote des reinen Code-Agenten in allen sechs Kombinationen aus Modell und Testaufteilung erhöhte – um bis zu 14,9 Prozentpunkte. Damit verringerte sich der Abstand zu einer vollständig in der Cloud ausgeführten ReAct-Schleife deutlich, während die Privatsphäre gewahrt blieb.
Warum es wichtig ist
Nutzer von Edge-Geräten können genauere KI-Assistenten verwenden, ohne ihre privaten Daten in die Cloud zu senden.
