Fireworks AI将Jacobian Lens(J‑Lens)——一种用于读取模型隐藏状态的训练型探针——应用于两款开放模型Kimi K3和Qwen3.5‑9B。模型尚未实际写出相关词语时,探针就已从其内部状态的前10项预测中找出了与任务有关的词汇。Kimi测试的20组词表均至少匹配到一个词;Qwen的20组中有19组匹配。研究还显示,这种模式在模型处理提示词时就已出现,并非只在生成过程中出现。
为什么重要
研究人员得以在模型开口前窥探其推理过程,为研究和改进AI行为提供了新途径。
研究人员借助J‑Lens探针发现,两款开源模型在生成相关词语之前,其隐藏状态中就已显现这些词语。
简讯作者: OossaOossa 发布日期: 最后更新: 1 分钟阅读
Fireworks AI将Jacobian Lens(J‑Lens)——一种用于读取模型隐藏状态的训练型探针——应用于两款开放模型Kimi K3和Qwen3.5‑9B。模型尚未实际写出相关词语时,探针就已从其内部状态的前10项预测中找出了与任务有关的词汇。Kimi测试的20组词表均至少匹配到一个词;Qwen的20组中有19组匹配。研究还显示,这种模式在模型处理提示词时就已出现,并非只在生成过程中出现。
研究人员得以在模型开口前窥探其推理过程,为研究和改进AI行为提供了新途径。
模型
这款拥有5520亿参数的新模型,编码准确率可媲美Astra,每项任务仅需$0.43,大幅降低AI软件工程成本。
模型
在Fireworks的测试中,DeepSeek V4 Pro在两项编程基准测试中胜过Fable 5,且每项完成任务的成本更低。结果由公司自行报告。
模型
Canva的新款AI可生成最高2K分辨率图像,支持精细布局和可编辑文字;所有用户均可通过Dream Lab使用,未来还将开放API。
Oossa · 新闻简报
一周 AI,讲明白
每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。