Fireworks AI paste de Jacobian Lens (J‑Lens) toe op twee open modellen, Kimi K3 en Qwen3.5‑9B. Deze getrainde probe leest de verborgen toestand van een model. De probe haalde woorden op die bij de taak hoorden en die in de top 10 van voorspellingen van de interne toestand stonden, nog voordat de modellen die woorden daadwerkelijk opschreven. Bij Kimi bevatte elk van de 20 geteste woordenlijsten minstens één overeenkomst; bij Qwen kwamen 19 van de 20 lijsten overeen. Uit het onderzoek bleek ook dat dit patroon zich voordoet terwijl het model de prompt verwerkt, en niet alleen tijdens het genereren.
Waarom het ertoe doet
Onderzoekers kunnen zo een kijkje nemen in het redeneren van een model voordat het iets zegt. Dat biedt nieuwe mogelijkheden om AI-gedrag te bestuderen en te verbeteren.
