В новой статье на arXiv представлена Nemotron 3.5 Bolt 74B-A9B 24GB — зрительно-языковая модель для локальных задач с ИИ, например использования инструментов, работы в интернете и в терминале. Авторы утверждают, что она рассчитана на компьютеры с ограниченной памятью и выдает 84 TPS на RTX Spark — это показатель скорости инференса. В аннотации не указаны условия тестирования, при которых была получена эта скорость.
Модель сочетает архитектуры Mamba и Transformer — два подхода к созданию ИИ-моделей. Она создана на основе семейства Nemotron 3.5 Super VL 120B-A12B и использует сжатие Star Elastic и дистилляцию с учетом квантования до 2 бит. Авторы представляют эти методы как способ найти баланс между производительностью и потреблением памяти. В названии модели есть «24GB», но в аннотации не описаны требования к оборудованию и не уточняется, является ли это минимальным объемом памяти.
Для каких задач предназначена модель?
В статье основное внимание уделяется агентным задачам — когда модель использует инструменты или взаимодействует с программами, чтобы выполнить цель. Авторы говорят, что оптимизировали Bolt для рассуждений, использования инструментов, веб-серфинга и работы в терминале. Они также обучили сопутствующую систему LiLiCorr, которую описывают как модель для спекулятивной генерации, и сообщают, что выпускают ее вместе с Bolt для достижения заявленной скорости инференса. В аннотации не объясняется, как установить эти системы и какая у них лицензия.
По словам авторов, в тестах GDPVal v2, BrowseComp и Terminal-Bench 2.1 модель точнее ведущих моделей с сопоставимыми требованиями к памяти и скоростью. Они также утверждают, что Bolt работает со скоростью, сравнимой с моделями, у которых значительно меньше активных параметров, и подходит для длительных агентных задач. В аннотации нет результатов тестов и сравнений отдельных моделей, поэтому по одному лишь краткому описанию невозможно оценить масштаб преимуществ.
Какие выводы могут сделать пользователи?
Авторы позиционируют Bolt как вариант для тех, кому нужна зрительно-языковая модель, способная выполнять задачи с программами на локальном оборудовании, а не через удаленный сервис. Указание на 24 ГБ и показатель скорости на RTX Spark дают представление о предполагаемом сценарии использования, но ничего не говорят о производительности на других компьютерах. Заявления принадлежат авторам модели; в аннотации нет независимых результатов тестирования и сведений о том, как получить доступ к модели.
Почему это важно
Тем, кто хочет запустить ИИ-агента на собственном компьютере, Bolt представляют как модель для локальных задач, рассчитанную на 24 ГБ памяти. Авторы сообщают о высокой скорости и хороших результатах тестов, но в аннотации не указано, на каком оборудовании, помимо RTX Spark, можно запустить модель, и не приведены подробные результаты. Поэтому ее практическая производительность пока остается под вопросом.
