# Meta: JiTTests fanden vor Veröffentlichung 74 Datenschutzfehler

> Metas KI-generierte Tests spürten im ersten Halbjahr 2026 74 schwerwiegende Datenschutzfehler auf. Nach Angaben des Unternehmens hielten Entwickler 60 % der gemeldeten Befunde für tatsächliche Probleme.

Oossa · 2026-11-16 · https://oossa.com/de/meta-says-jittests-caught-74-privacy-bugs-before-release

Meta setzt sein System Catching JiTTests produktiv ein. Dabei kommen große Sprachmodelle (LLMs) – die Art von KI, die auch hinter Chatbots steckt – zum Einsatz, um Tests zu generieren, die Fehler in Codeänderungen finden sollen, bevor diese veröffentlicht werden. Nach Angaben von Meta half das System im ersten Halbjahr 2026 dabei, 74 schwerwiegende Datenschutzfehler aufzuspüren, bevor die betreffenden Änderungen in den Produktivbetrieb gelangten.

Das Unternehmen gibt außerdem an, dass die Gesamtzahl der Datenschutzvorfälle, die es als schwerwiegend einstuft, in diesem Zeitraum um 20 % zurückging. Entwickler, die sich mit den Befunden befassten, meldeten eine Trefferquote von 60 %: Sie hielten also etwa sechs von zehn gemeldeten Problemen für tatsächliche Fehler. Dies sind Ergebnisse von Meta; in den vorliegenden Informationen hat das Unternehmen keine unabhängige Bewertung genannt.

## Wie funktioniert das?

JiTTests unterscheiden sich von KI-Tools, die Code lesen und mögliche Fehler kommentieren. Metas System generiert ausführbare Tests, die fehlschlagen sollen, wenn eine Codeänderung ein Verhalten auslöst, das der Test erkennen soll. Die Tests zielen auf Änderungen ab, bei denen Metas Risikobewertungssystem eine erhöhte Wahrscheinlichkeit schwerwiegender Regressionen sieht.

Das System läuft über Nacht auf ungenutzten Rechenkapazitäten und untersucht riskante Codeänderungen, die am Vortag eingereicht wurden. Dabei nutzt es zwei Ansätze: Bei einem soll ein LLM erschließen, was eine Änderung bewirken soll und wo sie schiefgehen könnte; beim anderen wird die Änderung als möglicherweise fehlerhaft behandelt und es werden Tests generiert, die Verhaltensunterschiede aufdecken sollen. Fehlschlagende Tests kommen für eine Überprüfung infrage.

Anschließend nutzt Meta einen regelbasierten Prüfer und ein Ensemble aus LLMs – mehrere Modelle bewerten dabei ein Ergebnis –, um wahrscheinliche Fehlalarme auszusortieren. Die Entwickler legen Kriterien fest und überprüfen die Ergebnisse auf aggregierter Ebene, statt jeden generierten Test einzeln durchzugehen. Meta bezeichnet diesen Ansatz als „human-on-the-loop“.

## Was sagen die Ergebnisse aus?

Nach Angaben von Meta befassten sich 589 Entwickler mit dem System. Das entspricht 64 % der Personen, die es kontaktiert hatte. In den vorliegenden Informationen nennt Meta weder die Zahl der getesteten Codeänderungen noch, wie die Trefferquote von 60 % über das Feedback der Entwickler hinaus gemessen wurde. Die Zahlen beschreiben daher Metas internen Einsatz und sind kein Ergebnis, das sich auch für andere Unternehmen oder Codebestände bestätigt hätte.

Für Meta-Entwickler ist das System eine zusätzliche Prüfstufe, bevor Code übernommen wird. Ziel ist es, Probleme zu finden, die bei herkömmlichen Tests möglicherweise unentdeckt bleiben. Das System ist Teil von Metas eigener Infrastruktur; die vorliegenden Informationen beschreiben weder ein öffentlich verfügbares Tool noch einen Zugang für externe Entwickler.

## Die Fakten

- Nach Angaben von Meta half Catching JiTTests im ersten Halbjahr 2026 dabei, 74 schwerwiegende Datenschutzfehler vor dem Produktivbetrieb aufzuspüren.
- Meta zufolge ging die Gesamtzahl schwerwiegender Datenschutzvorfälle im selben Zeitraum um 20 % zurück.
- Entwickler meldeten für die Befunde, mit denen sie sich befassten, eine Trefferquote von 60 %.
- Meta zufolge befassten sich 589 Entwickler mit dem System; das entspricht 64 % der kontaktierten Personen.

## Warum es wichtig ist

Für Meta-Entwickler bietet JiTTests eine zusätzliche Möglichkeit, Datenschutzfehler zu finden, bevor Code veröffentlicht wird – ohne dass sie jeden generierten Test einzeln prüfen müssen. Meta zufolge senkte das System die Zahl schwerwiegender Datenschutzvorfälle. Die Zahlen stammen jedoch aus dem Unternehmen selbst und zeigen nicht, ob der Ansatz anderswo genauso gut funktionieren würde.

## Quellen und Referenzen

1. [Meet Meta’s JiTTests: LLM-Generated Tests Designed to Fail Before Risky Code Lands](https://www.marktechpost.com/2026/11/16/meta-jittests-llm-catching-tests-privacy-bugs/) – MarkTechPost, 2026-11-16
2. [Meta](https://engineering.fb.com/2026/10/29/security/catching-bugs-before-they-land-jittestings-human-on-the-loop-approach-at-full-scale/?utm_source=openai) – Meta

Zuletzt aktualisiert: 2026-11-16
