Oossa

Meta: JiTTests detecta 74 fallos de privacidad antes del lanzamiento

Las pruebas generadas por IA de Meta señalaron 74 fallos graves de privacidad en el primer semestre de 2026. La empresa afirma que los ingenieros consideraron problemas reales el 60% de los hallazgos reportados.

Por Publicado por Oossa: 2 min de lectura

Katie Moum · Unsplash

Meta ha puesto en producción su sistema Catching JiTTests, que utiliza modelos de lenguaje grandes (LLM), el tipo de IA que impulsa los chatbots, para generar pruebas destinadas a detectar errores en los cambios de código antes de que se publiquen. La empresa afirma que el sistema ayudó a detectar 74 fallos graves de privacidad durante el primer semestre de 2026, antes de que esos cambios llegaran a producción.

Meta también afirma que, durante ese período, el sistema redujo un 20% el número total de incidentes de privacidad que clasifica como graves. Los ingenieros que revisaron los hallazgos reportaron una tasa del 60% de verdaderos positivos; es decir, consideraron que aproximadamente seis de cada diez problemas señalados eran reales. Estos son resultados de Meta: el material proporcionado no incluye una evaluación independiente de la empresa.

¿Cómo funciona?

JiTTests se diferencia de las herramientas de IA que leen código y señalan posibles fallos. El sistema de Meta genera pruebas ejecutables diseñadas para fallar cuando un cambio de código provoca el comportamiento que se busca detectar. Las pruebas se centran en cambios que, según el sistema de evaluación de riesgos de Meta, tienen más probabilidades de causar regresiones graves.

El sistema funciona durante la noche, aprovechando capacidad informática disponible, y analiza los cambios de código de riesgo enviados el día anterior. Utiliza dos métodos: uno pide a un LLM que deduzca el propósito de un cambio y qué podría salir mal; el otro parte de la posibilidad de que el cambio tenga errores y genera pruebas para detectar diferencias de comportamiento. Las pruebas que fallan se convierten en candidatas para revisión.

Después, Meta utiliza un verificador basado en reglas y un conjunto de LLM —varios modelos que evalúan un resultado— para filtrar las alertas probablemente falsas. Los ingenieros establecen los criterios y revisan los resultados de forma agregada, en lugar de comprobar cada prueba generada. Meta describe este enfoque como “human-on-the-loop”.

¿Qué abarcan los resultados?

Meta afirma que 589 ingenieros interactuaron con el sistema, lo que representa el 64% de las personas a las que se dirigió. El material proporcionado no indica cuántos cambios de código se analizaron ni cómo se calculó la tasa del 60% de verdaderos positivos, más allá de los comentarios de los ingenieros. Por tanto, las cifras describen el uso interno de Meta, no un resultado demostrado en otras empresas o bases de código.

Para los ingenieros de Meta, el sistema añade una comprobación más antes de integrar el código, con el objetivo de detectar algunos problemas que las pruebas habituales podrían pasar por alto. Forma parte de la infraestructura propia de Meta; la información proporcionada no describe una herramienta pública ni el acceso para desarrolladores externos.

Por qué importa

Para los ingenieros de Meta, JiTTests ofrece una oportunidad adicional de detectar fallos de privacidad antes de publicar el código, sin que tengan que revisar cada prueba generada. Meta afirma que el sistema redujo los incidentes graves de privacidad, pero las cifras son resultados internos de la empresa y no demuestran que el método funcionaría igual de bien en otros lugares.

¿Te resultó útil este artículo?
Compartir

Sigue leyendo

Oossa · Boletín

La semana en IA, explicada

Cada lunes: las noticias que vale la pena conocer, en lenguaje sencillo. Gratis, sin spam.