# Fireworks AI、Kimi K3とQwen3.5‑9Bの内部に潜む信号を発見

> 研究者らはJ‑Lensプローブを使い、2つのオープンソースモデルが、実際に出力する前から内部状態にタスク関連の単語を示すことを明らかにした。

Oossa · 2026-10-23 · https://oossa.com/ja/fireworks-ai-finds-silent-signals-in-kimi-k3-and-qwen3-5-9b

Fireworks AIは、モデルの隠れ状態を読み取る学習済みプローブ「Jacobian Lens（J‑Lens）」を、オープンモデルのKimi K3とQwen3.5‑9Bに適用した。このプローブは、モデルが実際に単語を書き出す前の内部状態から、タスクに関連する語彙を上位10件の予測として取り出した。Kimiではテストした単語リスト20件すべてで少なくとも1つの一致が見られ、Qwenでは20件中19件が一致した。また、このパターンは生成中だけでなく、モデルがプロンプトを処理している間にも現れることが示された。

## 事実

- モデル：Kimi K3、Qwen3.5‑9B
- 単語リストとの一致：Kimiは20/20件、Qwenは19/20件

## なぜ重要か

モデルが発話する前に、その推論を垣間見ることができ、AIの振る舞いを研究・改善する新たな方法につながる。

## 出典と参考資料

1. [Can open models carry readable silent signals before they speak? Reproducing J-Lens readouts on Kimi K3 & Qwen3.5-9B](https://fireworks.ai/research/j-lens-interpretability-kimi-k3-qwen/) – Fireworks AI
2. [Can open models carry readable silent signals before they speak? Reproducing J-Lens Readouts on Kimi K3 & Qwen3.5-9B](https://fireworks.ai/blog/J-Lens-Kimi-K3-Qwen/) – Fireworks AI

最終更新: 2026-10-23