# Meta diz que JiTTests detectou 74 falhas de privacidade antes do lançamento

> Os testes gerados por IA da Meta sinalizaram 74 falhas graves de privacidade no primeiro semestre de 2026. A empresa afirma que os engenheiros consideraram reais 60% dos problemas apontados.

Oossa · 2026-11-16 · https://oossa.com/pt/meta-says-jittests-caught-74-privacy-bugs-before-release

A Meta colocou seu sistema Catching JiTTests em produção. Ele usa modelos de linguagem grandes (LLMs, na sigla em inglês) — a tecnologia de IA por trás dos chatbots — para gerar testes que buscam falhas em alterações de código antes que elas sejam lançadas. Segundo a empresa, o sistema ajudou a detectar 74 falhas graves de privacidade no primeiro semestre de 2026, antes que as alterações chegassem à produção.

A empresa também afirma que, nesse período, o sistema reduziu em 20% o número total de incidentes de privacidade que classifica como graves. Engenheiros que analisaram os resultados relataram uma taxa de 60% de verdadeiros positivos, ou seja, consideraram que cerca de seis em cada dez problemas sinalizados eram reais. Esses são resultados da Meta; o material fornecido não inclui uma avaliação independente.

## Como funciona?

Os JiTTests diferem das ferramentas de IA que leem o código e apontam possíveis falhas. O sistema da Meta gera testes executáveis, projetados para falhar quando uma alteração de código provoca um comportamento que o teste deve detectar. Os testes se concentram em alterações que o sistema de avaliação de riscos da Meta considera mais propensas a causar regressões graves.

O sistema funciona durante a noite, usando capacidade computacional ociosa, e analisa alterações de código de risco enviadas no dia anterior. Ele adota duas abordagens: uma pede a um LLM que deduza o que a alteração pretende fazer e onde pode dar errado; a outra parte do princípio de que a alteração pode estar com problemas e gera testes para revelar diferenças de comportamento. Os testes que falham são selecionados para análise.

Em seguida, a Meta usa um verificador baseado em regras e um conjunto de LLMs — vários modelos que avaliam um resultado — para filtrar possíveis falsos alarmes. Os engenheiros definem critérios e analisam os resultados de forma agregada, em vez de verificar cada teste gerado. A Meta chama essa abordagem de “human-on-the-loop”.

## O que os resultados abrangem?

A Meta afirma que 589 engenheiros interagiram com o sistema, o equivalente a 64% das pessoas contatadas. O material fornecido não informa quantas alterações de código foram testadas nem como a taxa de 60% de verdadeiros positivos foi medida, além do retorno dos engenheiros. Portanto, os números descrevem a implementação interna da Meta, e não resultados comprovados em outras empresas ou bases de código.

Para os engenheiros da Meta, o sistema acrescenta uma verificação antes de o código ser incorporado, com o objetivo de encontrar alguns problemas que os testes convencionais podem deixar passar. Ele faz parte da infraestrutura interna da Meta; as informações fornecidas não descrevem uma ferramenta pública nem acesso para desenvolvedores externos.

## Os fatos

- Segundo a Meta, o Catching JiTTests ajudou a detectar 74 falhas graves de privacidade antes de o código chegar à produção, no primeiro semestre de 2026.
- A Meta afirma que o total de incidentes graves de privacidade caiu 20% no mesmo período.
- Os engenheiros relataram uma taxa de 60% de verdadeiros positivos entre os resultados que analisaram.
- A Meta afirma que 589 engenheiros interagiram com o sistema, o equivalente a 64% das pessoas contatadas.

## Por que importa

Para os engenheiros da Meta, os JiTTests oferecem uma oportunidade adicional de detectar falhas de privacidade antes do lançamento do código, sem exigir que verifiquem cada teste gerado. A Meta afirma que o sistema reduziu os incidentes graves de privacidade, mas os números são resultados internos da empresa e não mostram se a abordagem funcionaria tão bem em outros lugares.

## Fontes e referências

1. [Meet Meta’s JiTTests: LLM-Generated Tests Designed to Fail Before Risky Code Lands](https://www.marktechpost.com/2026/11/16/meta-jittests-llm-catching-tests-privacy-bugs/) – MarkTechPost, 2026-11-16
2. [Meta](https://engineering.fb.com/2026/10/29/security/catching-bugs-before-they-land-jittestings-human-on-the-loop-approach-at-full-scale/?utm_source=openai) – Meta

Última atualização: 2026-11-16
