Meta har tagit systemet Catching JiTTests i drift. Med hjälp av stora språkmodeller (LLM:er) – samma typ av AI som används i chattbotar – genererar systemet tester som ska hitta buggar i kodändringar innan de tas i bruk. Meta uppger att systemet bidrog till att upptäcka 74 allvarliga integritetsbrister under första halvåret 2026, innan ändringarna nådde produktionsmiljön.
Företaget uppger också att systemet under perioden minskade det totala antalet integritetsincidenter som klassas som allvarliga med 20 %. Ingenjörer som tog del av systemets fynd rapporterade en andel sanna positiva på 60 %, vilket innebär att de bedömde ungefär sex av tio flaggade problem som verkliga. Det här är Metas egna resultat; företaget har inte lämnat någon oberoende utvärdering i det tillhandahållna materialet.
Hur fungerar det?
JiTTests skiljer sig från AI-verktyg som läser kod och kommenterar möjliga fel. Metas system genererar körbara tester som är utformade för att misslyckas om en kodändring leder till ett beteende som testet ska fånga upp. Testerna riktas mot ändringar som Metas riskbedömningssystem bedömer har större sannolikhet att orsaka allvarliga regressioner.
Systemet körs över natten när det finns ledig datorkapacitet och granskar riskfyllda kodändringar som skickats in föregående dag. Det använder två metoder: i den ena får en LLM dra slutsatser om vad en ändring är tänkt att göra och vad som kan gå fel; i den andra behandlas ändringen som potentiellt felaktig, och tester genereras för att synliggöra skillnader i beteende. Tester som misslyckas blir kandidater för granskning.
Därefter använder Meta en regelbaserad kontroll och en ensemble av LLM:er – flera modeller som bedömer ett resultat – för att filtrera bort sannolika falsklarm. Ingenjörerna anger kriterier och granskar resultaten på en övergripande nivå i stället för att kontrollera varje genererat test. Meta kallar detta ett ”human-on-the-loop”-arbetssätt.
Vad visar resultaten?
Meta uppger att 589 ingenjörer använde systemet, vilket motsvarar 64 % av dem som företaget kontaktade. I det tillhandahållna materialet framgår inte hur många kodändringar som testades eller hur andelen sanna positiva på 60 % mättes utöver ingenjörernas återkoppling. Siffrorna beskriver därför Metas interna användning, inte resultat som har fastställts för andra företag eller kodbaser.
För Metas ingenjörer innebär systemet en extra kontroll innan kod tas i bruk, med målet att hitta vissa problem som vanliga tester kan missa. Det är en del av Metas egen infrastruktur; den tillgängliga informationen beskriver inte något offentligt verktyg eller någon åtkomst för externa utvecklare.
Varför det spelar roll
För Metas ingenjörer ger JiTTests ytterligare en möjlighet att upptäcka integritetsbrister innan kod tas i bruk, utan att de behöver granska varje genererat test. Meta uppger att systemet minskade antalet allvarliga integritetsincidenter, men siffrorna är interna företagsresultat och visar inte om metoden skulle fungera lika bra på andra håll.