В новой статье, опубликованной 8 октября 2026 года, исследуется взаимодействие системы автоматизации умного дома Wactorz с языковыми моделями. Система выполняет несколько типов запросов: определяет намерение пользователя, классифицирует действия, сопоставляет команды с устройствами, строит планы и генерирует код Python. Авторы протестировали девять моделей — от 0.8 млрд параметров до крупной облачной модели. Они использовали реальные производственные промпты системы на двух установках Home Assistant: всего 280 реальных случаев и 2 520 оцененных запросов.
Что показывают результаты
Результаты показывают, что более крупные модели не всегда лучше. На четырех из пяти этапов лучшая локальная модель статистически не отличалась от небольшой облачной модели и передовой модели. Измеримая разница обнаружилась только при генерации кода: результат лучшей локальной модели был немного хуже (p = 0.039 по сравнению с небольшой облачной моделью и p = 0.002 — с передовой облачной моделью). Общая точность при маршрутизации каждого запроса к оптимальной локальной модели составила 91.8 % против 95.4 %, когда все запросы обрабатывала самая мощная модель, — и без дополнительных затрат на вычисления. В тесте с реальными пользователями обработка на сервере только двух генеративных этапов дала тот же результат, что и полностью облачная обработка (39 правильных ответов из 43), при этом расходы составили всего 28 %.
Особенности безопасности малых моделей
Тестирование также выявило проблему безопасности на этапе управления устройствами. Одна модель с 4 B параметров (Gemma4 E2B) ошибочно пыталась управлять устройствами, которые ей не принадлежали, в 87.2 % запросов, тогда как другая модель отклоняла каждый запрос. Эти крайние варианты поведения показывают, что малые модели могут непредсказуемо разрешать компромисс между точностью и отказом от выполнения запроса.
Почему это важно
Для владельцев умного дома, использующих автоматизацию с открытым исходным кодом, результаты означают, что большинство задач можно выполнять с помощью небольших моделей, работающих локально, не оплачивая облачный хостинг и сохраняя конфиденциальность данных при низких затратах. Однако с командами управления устройствами стоит быть осторожными: некоторые малые модели могут вести себя непредсказуемо — чрезмерно активно управлять устройствами или полностью отказываться выполнять запросы.
