マルチモーダル学習で、テキスト専用モデルに隠れた視覚的推論能力

Qi Zhang氏が率いるチームは2026年11月11日、画像とテキストで学習した言語モデルが、テキストだけで推論する際にも利用する、隠れた「視覚軸」を獲得するとする論文を発表した。70億パラメーターのモデルChameleon-7Bでは、この軸を無効にするとBIG-Bench Hardのナビゲーション課題の正答率が27.6ポイント低下する一方、記号的な真偽値テストの成績はわずかに向上した。この効果は特定の層に現れ、心的回転や視点取得の課題にも役立つ。