Fireworks AI a appliqué le Jacobian Lens (J‑Lens) — une sonde entraînée qui lit l’état caché d’un modèle — à deux modèles ouverts, Kimi K3 et Qwen3.5‑9B. Avant que les modèles n’écrivent réellement ces mots, la sonde a retrouvé du vocabulaire lié à la tâche parmi les 10 prédictions les plus probables de leur état interne. Chez Kimi, les 20 listes de mots testées contenaient au moins une correspondance ; chez Qwen, 19 des 20 listes en contenaient une. L’étude a également montré que ce phénomène se produit pendant le traitement de la requête par le modèle, et pas seulement durant la génération.
Pourquoi c'est important
Cette méthode permet aux chercheurs d’observer le raisonnement d’un modèle avant qu’il ne s’exprime, et ouvre de nouvelles pistes pour étudier et améliorer le comportement de l’IA.
