Meta setzt sein System Catching JiTTests produktiv ein. Dabei kommen große Sprachmodelle (LLMs) – die Art von KI, die auch hinter Chatbots steckt – zum Einsatz, um Tests zu generieren, die Fehler in Codeänderungen finden sollen, bevor diese veröffentlicht werden. Nach Angaben von Meta half das System im ersten Halbjahr 2026 dabei, 74 schwerwiegende Datenschutzfehler aufzuspüren, bevor die betreffenden Änderungen in den Produktivbetrieb gelangten.
Das Unternehmen gibt außerdem an, dass die Gesamtzahl der Datenschutzvorfälle, die es als schwerwiegend einstuft, in diesem Zeitraum um 20 % zurückging. Entwickler, die sich mit den Befunden befassten, meldeten eine Trefferquote von 60 %: Sie hielten also etwa sechs von zehn gemeldeten Problemen für tatsächliche Fehler. Dies sind Ergebnisse von Meta; in den vorliegenden Informationen hat das Unternehmen keine unabhängige Bewertung genannt.
Wie funktioniert das?
JiTTests unterscheiden sich von KI-Tools, die Code lesen und mögliche Fehler kommentieren. Metas System generiert ausführbare Tests, die fehlschlagen sollen, wenn eine Codeänderung ein Verhalten auslöst, das der Test erkennen soll. Die Tests zielen auf Änderungen ab, bei denen Metas Risikobewertungssystem eine erhöhte Wahrscheinlichkeit schwerwiegender Regressionen sieht.
Das System läuft über Nacht auf ungenutzten Rechenkapazitäten und untersucht riskante Codeänderungen, die am Vortag eingereicht wurden. Dabei nutzt es zwei Ansätze: Bei einem soll ein LLM erschließen, was eine Änderung bewirken soll und wo sie schiefgehen könnte; beim anderen wird die Änderung als möglicherweise fehlerhaft behandelt und es werden Tests generiert, die Verhaltensunterschiede aufdecken sollen. Fehlschlagende Tests kommen für eine Überprüfung infrage.
Anschließend nutzt Meta einen regelbasierten Prüfer und ein Ensemble aus LLMs – mehrere Modelle bewerten dabei ein Ergebnis –, um wahrscheinliche Fehlalarme auszusortieren. Die Entwickler legen Kriterien fest und überprüfen die Ergebnisse auf aggregierter Ebene, statt jeden generierten Test einzeln durchzugehen. Meta bezeichnet diesen Ansatz als „human-on-the-loop“.
Was sagen die Ergebnisse aus?
Nach Angaben von Meta befassten sich 589 Entwickler mit dem System. Das entspricht 64 % der Personen, die es kontaktiert hatte. In den vorliegenden Informationen nennt Meta weder die Zahl der getesteten Codeänderungen noch, wie die Trefferquote von 60 % über das Feedback der Entwickler hinaus gemessen wurde. Die Zahlen beschreiben daher Metas internen Einsatz und sind kein Ergebnis, das sich auch für andere Unternehmen oder Codebestände bestätigt hätte.
Für Meta-Entwickler ist das System eine zusätzliche Prüfstufe, bevor Code übernommen wird. Ziel ist es, Probleme zu finden, die bei herkömmlichen Tests möglicherweise unentdeckt bleiben. Das System ist Teil von Metas eigener Infrastruktur; die vorliegenden Informationen beschreiben weder ein öffentlich verfügbares Tool noch einen Zugang für externe Entwickler.
Warum es wichtig ist
Für Meta-Entwickler bietet JiTTests eine zusätzliche Möglichkeit, Datenschutzfehler zu finden, bevor Code veröffentlicht wird – ohne dass sie jeden generierten Test einzeln prüfen müssen. Meta zufolge senkte das System die Zahl schwerwiegender Datenschutzvorfälle. Die Zahlen stammen jedoch aus dem Unternehmen selbst und zeigen nicht, ob der Ansatz anderswo genauso gut funktionieren würde.