Oossa

Мультимодальное обучение развивает скрытые визуальные способности текстовых моделей

Исследователи показали, что обучение на текстах и изображениях меняет подход языковых моделей к пространственным задачам — даже когда на вход подаётся только текст.

ЗаметкаАвтор: Опубликовано Oossa: 1 мин чтения

Дата события:

Команда под руководством Ци Чжана 11 Nov 2026 опубликовала работу, в которой показала: языковые модели, обученные на изображениях и текстах, формируют скрытую «визуальную ось», которую используют при рассуждениях исключительно на основе текста. В модели Chameleon‑7B с 7 миллиардами параметров отключение этой оси снизило точность на навигационном задании BIG‑Bench Hard на 27,6 процентного пункта, но немного повысило результаты в символических тестах на булеву логику. Эффект проявляется в определённых слоях модели и также помогает в задачах на мысленное вращение объектов и принятие чужой перспективы.

Почему это важно

Это показывает, что обучение на текстах и изображениях может улучшить пространственное мышление ИИ, работающего только с текстом, и поможет в разработке будущих моделей.

Эта статья была полезной?
Поделиться

Читайте также

Oossa · Рассылка

Неделя ИИ — простыми словами

Каждый понедельник: главное за неделю понятным языком. Бесплатно, без спама.