Pesquisadores liderados por Boris Radovič investigaram uma alternativa intermediária entre agentes de IA que operam exclusivamente na nuvem e modelos pequenos executados no dispositivo. A nuvem gera um programa, mas, quando precisa interpretar dados do usuário, recorre a um modelo local compacto. Nos testes com o benchmark AppWorld, a abordagem híbrida aumentou a taxa de sucesso do agente baseado apenas em código nas seis combinações de modelos e partições avaliadas, com ganhos de até 14,9 pontos percentuais. Com isso, reduziu boa parte da diferença em relação a um ciclo ReAct totalmente hospedado na nuvem, sem abrir mão da privacidade.
Por que importa
Usuários de dispositivos de borda podem ter assistentes de IA mais precisos sem enviar seus dados privados para a nuvem.
