Fireworks AI применила к двум открытым моделям — Kimi K3 и Qwen3.5‑9B — Jacobian Lens (J‑Lens), обученный зонд, который считывает скрытое состояние модели. До того как модели сами выдавали эти слова, зонд обнаруживал в топ‑10 предсказаний внутреннего состояния слова, связанные с заданием. В Kimi совпадение нашлось хотя бы для одного слова во всех 20 проверенных списках; в Qwen совпадения были в 19 из 20 списков. Исследование также показало, что эта закономерность сохраняется и при обработке моделью запроса, а не только во время генерации.
Почему это важно
Это позволяет исследователям заглянуть в работу модели до того, как она заговорит, и открывает новые возможности для изучения и улучшения поведения ИИ.
