I ricercatori guidati da Boris Radovič hanno esplorato una via di mezzo tra gli agenti IA basati solo sul cloud e i piccoli modelli eseguiti sul dispositivo. Il cloud genera un programma, ma quando deve interpretare i dati dell’utente si affida a un piccolo modello locale. Nei test del benchmark AppWorld, l’approccio ibrido ha aumentato il tasso di successo dell’agente basato solo sul codice in tutte e sei le combinazioni di modelli e partizioni di test, con un incremento massimo di 14.9 punti percentuali. Ha così colmato gran parte del divario rispetto a un ciclo ReAct interamente ospitato sul cloud, preservando al contempo la privacy.
Perché conta
Chi usa dispositivi edge può avere assistenti IA più accurati senza inviare i propri dati privati al cloud.
