Fireworks AI、Kimi K3とQwen3.5‑9Bの内部に潜む信号を発見

研究者らはJ‑Lensプローブを使い、2つのオープンソースモデルが、実際に出力する前から内部状態にタスク関連の単語を示すことを明らかにした。

短信著者： OossaOossa公開日: 2026年10月23日 6:39 UTC最終更新: 2026年10月23日 8:06 UTC1 分で読める

Fireworks AIは、モデルの隠れ状態を読み取る学習済みプローブ「Jacobian Lens（J‑Lens）」を、オープンモデルのKimi K3とQwen3.5‑9Bに適用した。このプローブは、モデルが実際に単語を書き出す前の内部状態から、タスクに関連する語彙を上位10件の予測として取り出した。Kimiではテストした単語リスト20件すべてで少なくとも1つの一致が見られ、Qwenでは20件中19件が一致した。また、このパターンは生成中だけでなく、モデルがプロンプトを処理している間にも現れることが示された。