多模态训练让纯文本模型具备隐性的视觉推理能力

Qi Zhang 带领的团队于 11 Nov 2026 发表论文指出，接受图像和文本训练的语言模型会形成一条隐性的“视觉轴”，并在纯文本推理时调用它。在 7-billion-parameter 模型 Chameleon‑7B 中，禁用这条轴后，模型在 BIG‑Bench Hard 导航任务上的准确率下降了 27.6 percentage points，而符号布尔测试的表现则略有提升。这种影响集中在特定层中，也有助于完成心理旋转和视角转换任务。