Fireworks AI setzte den Jacobian Lens (J‑Lens) ein – einen trainierten Probe, der den verborgenen Zustand eines Modells ausliest – und untersuchte damit zwei offene Modelle: Kimi K3 und Qwen3.5‑9B. Der Probe fand aufgabenbezogenes Vokabular unter den zehn wahrscheinlichsten Vorhersagen des internen Zustands, noch bevor die Modelle diese Wörter tatsächlich ausgaben. Bei Kimi enthielten alle 20 getesteten Wortlisten mindestens einen Treffer; bei Qwen traf das auf 19 der 20 Listen zu. Die Studie zeigte außerdem, dass dieses Muster bereits während der Verarbeitung des Prompts auftritt und nicht erst bei der Generierung.
Warum es wichtig ist
So können Forschende Einblicke in die Schlussfolgerungen eines Modells gewinnen, bevor es etwas ausgibt – und neue Wege finden, das Verhalten von KI zu untersuchen und zu verbessern.
