Oossa

Fireworks AI发现Kimi K3和Qwen3.5‑9B中的隐性信号

研究人员借助J‑Lens探针发现,两款开源模型在生成相关词语之前,其隐藏状态中就已显现这些词语。

简讯作者: Oossa 发布日期: 最后更新: 1 分钟阅读

Fireworks AI将Jacobian Lens(J‑Lens)——一种用于读取模型隐藏状态的训练型探针——应用于两款开放模型Kimi K3和Qwen3.5‑9B。模型尚未实际写出相关词语时,探针就已从其内部状态的前10项预测中找出了与任务有关的词汇。Kimi测试的20组词表均至少匹配到一个词;Qwen的20组中有19组匹配。研究还显示,这种模式在模型处理提示词时就已出现,并非只在生成过程中出现。

为什么重要

研究人员得以在模型开口前窥探其推理过程,为研究和改进AI行为提供了新途径。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。