Oossa

Бета-версия Unsloth позволяет ИИ управлять приложениями на компьютере

В Unsloth v0.1.918-beta появились управление экраном, мышью и клавиатурой, интеграции с творческими приложениями и новые возможности MiniMax-H3-Image.

Автор: Опубликовано Oossa: 2 мин чтения

Oscar Ivan Esquivel Arteaga · Unsplash

Обновление Unsloth v0.1.918-beta добавляет функцию управления компьютером: ИИ-модель может видеть экран пользователя и управлять мышью и клавиатурой. Она работает в macOS, Windows и Linux с поддерживаемыми локальными моделями компьютерного зрения, а также с подключенными провайдерами. По умолчанию функция выключена — ее нужно включить в настройках.

Перед первым действием модели в чате Unsloth запрашивает разрешение. Подтверждение также требуется перед переходом в новое приложение и перед рискованными действиями, например запуском терминала. По словам компании, заблокированные приложения не будут получать клики и ввод текста независимо от настроек разрешений. Чтобы вернуть управление себе, пользователь может нажать «Стоп» или переместить указатель мыши в угол экрана.

К чату можно подключить больше приложений

В меню приложений появились Unreal Engine, Unity, Godot, Figma и Roblox — теперь они доступны наряду с Blender. Для интеграции используется MCP — способ взаимодействия чат-моделей с другими программами. Unsloth говорит, что с их помощью модель может создавать сцены и игры; в демонстрациях компании показаны игра Pong в Godot и деревенская площадь в Unreal Engine. Интеграция с Figma работает только для чтения: модель может просматривать фреймы, стили и ресурсы, но не редактировать их.

Чтобы включить интеграцию, нужно выбрать приложение, выдать разрешение и проверить соединение. Unsloth отмечает, что эти инструменты выполняют код внутри подключенного приложения, и уточняет: пользоваться ими может только владелец приложения. В обновлении также появилась галерея подключений с поиском и девятью новыми провайдерами, среди которых Amazon Bedrock, Azure OpenAI, NVIDIA NIM и Perplexity.

Модели для работы с изображениями и управление чатом

Теперь MiniMax-H3-Image можно запускать в формате GGUF на процессорах, компьютерах Mac и оборудовании AMD, а на видеокартах NVIDIA — с весами FP8 или INT8. Для FP8 нужна видеокарта NVIDIA с вычислительной архитектурой SM 8.9 или новее. Пользователи также могут дообучать модель для работы с изображениями с помощью LoRA — метода адаптации модели посредством небольшого набора дополнительных весов.

По данным Unsloth, декодирование изображения размером 2048 пикселей занимает 0.28 секунды вместо 2.82 секунды на A100 80GB. Это результат, заявленный компанией, а не независимое сравнение. Среди других изменений — выбор модели прямо в окне чата, просмотр файлов проекта и автоматические сводки длинных переписок во многих подключениях. Обновление также позволяет запускать Inkling-2-Small в формате Dynamic GGUFs.

Почему это важно

Тем, кто запускает локальные ИИ-модели, управление компьютером позволит поручать модели задачи в настольных программах, а не только просить у нее инструкции. Но для этого нужно самостоятельно настроить функцию и выдать разрешения, а в релизе не подтверждается, насколько надежно она справляется с повседневными задачами за пределами демонстраций и тестов Unsloth.

Эта статья была полезной?
Поделиться

Читайте также

Oossa · Рассылка

Неделя ИИ — простыми словами

Каждый понедельник: главное за неделю понятным языком. Бесплатно, без спама.