Meta a déployé son système Catching JiTTests en production. Celui-ci utilise de grands modèles de langage (LLM), la technologie d’IA qui alimente notamment les chatbots, pour générer des tests destinés à repérer les bugs dans les modifications de code avant leur mise en ligne. Meta affirme que le système a contribué à détecter 74 bugs graves de confidentialité au premier semestre 2026, avant que les modifications concernées ne soient déployées en production.
L’entreprise affirme également que le système a réduit de 20 % le nombre total d’incidents de confidentialité qu’elle classe comme graves pendant cette période. Les ingénieurs qui ont examiné les résultats ont confirmé que 60 % des problèmes signalés étaient avérés, autrement dit qu’ils considéraient environ six alertes sur dix comme de vrais problèmes. Ces résultats sont ceux de Meta ; les éléments fournis ne comprennent aucune évaluation indépendante.
Comment ça marche ?
JiTTests se distingue des outils d’IA qui lisent le code et signalent des défauts possibles. Le système de Meta génère des tests exécutables, conçus pour échouer lorsqu’une modification du code entraîne un comportement que le test est censé détecter. Ces tests ciblent les modifications que le système d’évaluation des risques de Meta juge plus susceptibles de provoquer de graves régressions.
Le système fonctionne la nuit, en utilisant les capacités de calcul disponibles, et examine les modifications de code à risque soumises la veille. Il repose sur deux approches : la première demande à un LLM de déduire l’objectif d’une modification et les problèmes qu’elle pourrait causer ; la seconde part du principe que la modification peut être défectueuse et génère des tests pour mettre en évidence les différences de comportement. Les tests qui échouent sont ensuite soumis à examen.
Meta utilise alors un vérificateur fondé sur des règles et un ensemble de LLM — plusieurs modèles évaluant un résultat — pour éliminer les fausses alertes probables. Les ingénieurs définissent les critères et examinent les résultats dans leur ensemble, sans vérifier chaque test généré. Meta qualifie cette approche de « human-on-the-loop ».
Que couvrent les résultats ?
Meta affirme que 589 ingénieurs ont utilisé le système, soit 64 % des personnes auxquelles il a été proposé. Les éléments fournis ne précisent ni le nombre de modifications de code testées ni la manière dont le taux de 60 % de problèmes avérés a été mesuré, au-delà des retours des ingénieurs. Ces chiffres décrivent donc le déploiement interne de Meta ; ils ne démontrent pas que le système donnerait les mêmes résultats dans d’autres entreprises ou bases de code.
Pour les ingénieurs de Meta, le système constitue un contrôle supplémentaire avant l’intégration du code, avec pour objectif de repérer certains problèmes susceptibles d’échapper aux tests habituels. Il fait partie de l’infrastructure interne de Meta ; les informations fournies ne font état ni d’un outil public ni d’un accès destiné aux développeurs externes.
Pourquoi c'est important
Pour les ingénieurs de Meta, JiTTests offre une occasion supplémentaire de détecter les bugs de confidentialité avant la mise en ligne du code, sans devoir examiner chaque test généré. Meta affirme que le système a réduit les incidents graves de confidentialité, mais ces chiffres internes ne permettent pas de savoir si cette approche serait aussi efficace ailleurs.