멀티모달 학습, 텍스트 전용 모델에 숨은 시각 추론 능력 심어

Qi Zhang이 이끄는 연구팀은 2026년 11월 11일, 이미지와 텍스트로 학습한 언어 모델이 순수하게 텍스트로 추론할 때도 활용하는 숨은 ‘비전 축’을 갖게 된다는 논문을 발표했다. 70억 매개변수 모델 Chameleon‑7B에서 이 축을 비활성화하자 BIG‑Bench Hard 내비게이션 과제의 정확도가 27.6%포인트 떨어졌고, 기호 논리 테스트에서는 성능이 소폭 향상됐다. 이런 효과는 특정 레이어에서 나타났으며, 심적 회전과 관점 취하기 과제에도 도움이 됐다.