Baseten宣布推出Project Beacon,这是与Goodfire AI合作开展的项目,旨在为AI模型推理加入主动安全检查。系统会在模型生成文本时读取其内部激活状态,并可拦截或标记提示注入、违反政策、数据泄露或网络滥用等不安全内容。Baseten表示,监测器将与生成过程并行运行,不会带来明显延迟。公司计划在未来几个月向少数早期合作伙伴推出这项功能,随后扩展至更多模型和企业控制功能。
为什么重要
企业可以在各类模型上执行统一的安全防护,随着AI应用不断增长,减少对单独过滤器和人工审核的依赖。