BasetenはGoodfire AIとの提携により、AIモデルの推論に先回りして安全性を確認する「Project Beacon」を発表した。このシステムは、モデルがテキストを生成する間、その内部の活性化を読み取り、プロンプトインジェクション、ポリシー違反、データ漏えい、サイバー犯罪への悪用などにつながる危険な内容を遮断または検知できる。Basetenによると、監視機能は生成と並行して動作するため、目立った遅延は発生しない。今後数カ月で一部の初期パートナーに提供を開始し、その後、対応モデルや企業向け制御機能を拡大する計画だ。
なぜ重要か
企業はあらゆるモデルに一貫した安全対策を適用できるようになり、AIの利用拡大に伴う個別フィルターや手作業でのレビューの必要性を減らせる。
