Исследователи под руководством Бориса Радовича изучили промежуточный вариант между ИИ-агентами, работающими только в облаке, и небольшими моделями на устройствах. Облако пишет программу, но для обработки пользовательских данных обращается к небольшой локальной модели. Тесты на бенчмарке AppWorld показали, что такая гибридная архитектура повысила успешность агента, работающего только с кодом, во всех шести сочетаниях моделей и разбиений тестов — максимум на 14,9 процентного пункта. Это позволило существенно сократить отставание от полностью облачного цикла ReAct, сохранив конфиденциальность данных.
Почему это важно
Пользователи устройств с ИИ на периферии могут получать более точных помощников, не отправляя личные данные в облако.
