Metaは「Catching JiTTests」システムを本番環境に導入した。チャットボットを支える種類のAIである大規模言語モデル(LLM)を使ってテストを生成し、コード変更がリリースされる前にバグを見つけることを狙う。Metaによると、このシステムは2026年上半期に、変更が本番環境に反映される前に深刻なプライバシー関連のバグ74件を発見するのに役立った。
同社はまた、この期間に深刻と分類するプライバシー事故の総数が20%減少したとしている。システムの指摘に対応したエンジニアからは、真陽性率が60%だったとの報告があった。つまり、指摘された問題のおよそ10件中6件を実際の不具合と判断したという。これらはMetaが公表した結果であり、提供された資料には独立した評価は含まれていない。
どのように機能するのか
JiTTestsは、コードを読んで問題の可能性を指摘するAIツールとは異なる。Metaのシステムは、コード変更によって検出対象の挙動が発生した場合に失敗するよう設計された、実行可能なテストを生成する。Metaのリスク評価システムが深刻なリグレッションを引き起こす可能性が高いと判断した変更を対象にする。
システムは夜間、余剰の計算能力を使って、前日に提出されたリスクの高いコード変更を調べる。手法は2つある。1つはLLMに変更の意図と問題が起きそうな箇所を推測させる方法。もう1つは変更に不具合がある可能性を前提に、挙動の違いを見つけるテストを生成する方法だ。失敗したテストはレビュー候補になる。
その後、Metaはルールベースのチェッカーと、複数のモデルで結果を評価するLLMアンサンブルを使い、誤検知の可能性が高いものを除外する。エンジニアは基準を設定し、生成されたテストを一つずつ確認するのではなく、結果を集計レベルで検証する。Metaはこれを「human-on-the-loop(人間が監督する)」方式と呼んでいる。
結果が示す範囲
Metaによると、589人のエンジニアがシステムを利用し、同社からの案内を受けた人の64%に当たるという。提供された資料では、テストしたコード変更の件数や、エンジニアからのフィードバック以外に真陽性率をどう測定したかは明らかにしていない。したがって、これらの数字が示すのはMeta社内での導入結果であり、他社や別のコードベースでも有効だと立証された結果ではない。
Metaのエンジニアにとって、このシステムはコードが取り込まれる前に行う追加チェックとなり、通常のテストでは見逃す可能性のある問題を見つけることを目指す。Meta独自のインフラの一部であり、提供された情報によると、一般公開されたツールでも、社外の開発者が利用できるものでもない。
なぜ重要か
MetaのエンジニアにとってJiTTestsは、生成されたテストを一つずつ確認しなくても、コードのリリース前にプライバシー関連のバグを見つける機会を増やす。Metaは深刻なプライバシー事故が減ったとしているが、数字は社内での結果であり、他の環境でも同様に機能するかは示されていない。