Oossa

Meta: JiTTests vond 74 privacybugs vóór release

Met AI gegenereerde tests spoorden in de eerste helft van 2026 74 ernstige privacybugs op. Volgens Meta beoordeelden engineers 60% van de gemelde bevindingen als echte problemen.

Door Gepubliceerd door Oossa: 2 min lezen

Katie Moum · Unsplash

Meta heeft het systeem Catching JiTTests in gebruik genomen. Het zet grote taalmodellen (LLM’s) in — de AI-technologie achter bijvoorbeeld chatbots — om tests te genereren die bugs in codewijzigingen moeten opsporen voordat die worden uitgerold. Volgens Meta hielp het systeem in de eerste helft van 2026 74 ernstige privacybugs te vinden, voordat de wijzigingen in productie werden genomen.

Het bedrijf zegt ook dat het totale aantal ernstige privacy-incidenten volgens zijn eigen classificatie in die periode met 20% daalde. Engineers die de bevindingen beoordeelden, rapporteerden een percentage echte positieven van 60%. Dat betekent dat zij ongeveer zes op de tien gemelde problemen als daadwerkelijk beschouwden. Dit zijn cijfers van Meta; het bedrijf heeft in het aangeleverde materiaal geen onafhankelijke evaluatie gegeven.

Hoe werkt het?

JiTTests verschilt van AI-tools die code lezen en mogelijke fouten aanwijzen. Het systeem van Meta genereert uitvoerbare tests die moeten mislukken als een codewijziging gedrag veroorzaakt waarop de test is gericht. De tests richten zich op wijzigingen die volgens Meta’s risicoscore een grotere kans hebben om ernstige regressies te veroorzaken.

Het systeem draait ’s nachts op ongebruikte rekencapaciteit en onderzoekt risicovolle codewijzigingen die de dag ervoor zijn ingediend. Het gebruikt twee methoden: bij de ene leidt een LLM af wat een wijziging moet doen en waar het mis kan gaan; bij de andere gaat het systeem ervan uit dat de wijziging fouten kan bevatten en genereert het tests om gedragsverschillen aan het licht te brengen. Tests die mislukken, komen in aanmerking voor beoordeling.

Vervolgens gebruikt Meta een checker op basis van regels en een ensemble van LLM’s — meerdere modellen die een resultaat beoordelen — om waarschijnlijke valse meldingen eruit te filteren. Engineers stellen criteria vast en beoordelen de uitkomsten op hoofdlijnen, in plaats van elke gegenereerde test afzonderlijk te controleren. Meta noemt dit een ‘human-on-the-loop’-aanpak.

Wat zeggen de resultaten?

Volgens Meta hebben 589 engineers met het systeem gewerkt, 64% van de mensen die het bedrijf benaderde. In het aangeleverde materiaal staat niet hoeveel codewijzigingen zijn getest, of hoe het percentage echte positieven van 60% precies is gemeten, afgezien van de feedback van engineers. De cijfers beschrijven dus de interne inzet bij Meta en zijn geen resultaten die ook bij andere bedrijven of codebases zijn vastgesteld.

Voor engineers bij Meta vormt het systeem een extra controle voordat code wordt doorgevoerd, met als doel problemen op te sporen die gewone tests mogelijk missen. Het maakt deel uit van Meta’s eigen infrastructuur; de verstrekte informatie vermeldt niet dat er een openbare tool is of dat externe ontwikkelaars toegang hebben.

Waarom het ertoe doet

Voor engineers bij Meta biedt JiTTests een extra kans om privacybugs op te sporen voordat code wordt uitgerold, zonder dat zij elke gegenereerde test hoeven te controleren. Meta zegt dat het systeem het aantal ernstige privacy-incidenten heeft teruggedrongen, maar de cijfers zijn interne bedrijfsresultaten en laten niet zien of de aanpak elders even goed zou werken.

Was dit artikel nuttig?
Delen

Lees ook

Oossa · Nieuwsbrief

De AI-week, uitgelegd

Elke maandag: het nieuws dat ertoe doet, in gewone taal. Gratis, geen spam.