Un equipo de investigadores dirigido por Boris Radovič exploró una opción intermedia entre los agentes de IA que operan solo en la nube y los modelos pequeños que funcionan en el dispositivo. La nube genera un programa, pero, cuando necesita interpretar los datos del usuario, recurre a un modelo local pequeño. Las pruebas con el benchmark AppWorld mostraron que el diseño híbrido elevó la tasa de éxito del agente que solo usa código en las seis combinaciones de modelo y partición, con una mejora de hasta 14,9 puntos porcentuales. Además, redujo buena parte de la brecha respecto de un ciclo ReAct alojado íntegramente en la nube, a la vez que protegió la privacidad.
Por qué importa
Quienes usan dispositivos edge pueden tener asistentes de IA más precisos sin enviar sus datos privados a la nube.
