Des chercheurs dirigés par Boris Radovič ont étudié une solution intermédiaire entre les agents IA entièrement hébergés dans le cloud et les petits modèles exécutés sur l’appareil. Le cloud écrit un programme, mais lorsqu’il doit interpréter les données de l’utilisateur, il fait appel à un petit modèle local. Les tests sur le benchmark AppWorld ont montré que cette architecture hybride améliorait le taux de réussite de l’agent fonctionnant uniquement avec du code dans les six combinaisons de modèles et de partitions testées, avec un gain pouvant atteindre 14,9 points de pourcentage. Elle réduisait ainsi une grande partie de l’écart avec une boucle ReAct entièrement hébergée dans le cloud, tout en préservant la confidentialité.
Pourquoi c'est important
Les utilisateurs d’appareils en périphérie peuvent bénéficier d’assistants IA plus précis sans envoyer leurs données privées dans le cloud.
