# Meta称JiTTests在发布前发现74个隐私漏洞

> Meta称，其AI生成的测试在2026年上半年标记出74个严重隐私漏洞。工程师认为，报告的问题中有60%确实存在。

Oossa · 2026-11-16 · https://oossa.com/zh/meta-says-jittests-caught-74-privacy-bugs-before-release

Meta已将其JiTTests系统投入生产环境，利用大型语言模型（LLM）——也就是聊天机器人背后的那类AI——生成测试，在代码变更发布前查找漏洞。Meta称，2026年上半年，该系统帮助发现了74个严重隐私漏洞，相关变更尚未进入生产环境。

Meta还称，在此期间，该系统使其归类为严重的隐私事件总数减少了20%。参与处理系统发现的工程师反馈称，真阳性率为60%，也就是说，他们认为每十项被标记的问题中约有六项确实是问题。这些是Meta公布的结果；所提供的材料中没有独立评估。

## 它是如何运作的？

JiTTests与那些读取代码并指出潜在问题的AI工具不同。Meta的系统会生成可执行测试：如果代码变更导致了测试旨在捕捉的行为，测试就会失败。这些测试针对的是Meta风险评分系统认为更可能造成严重回归问题的代码变更。

该系统会利用夜间闲置的计算资源运行，检查前一天提交的高风险代码变更。它采用两种方法：一种让LLM推断变更的预期用途，以及可能出错的地方；另一种则假设变更可能有问题，并生成测试来揭示行为差异。未通过的测试会进入候选名单，等待审核。

随后，Meta会使用基于规则的检查器和由多个LLM组成的集成模型——也就是让多个模型评估结果——筛除可能的误报。工程师设定标准，并在汇总层面审核结果，而不是逐一检查所有生成的测试。Meta将这种做法称为“人在环上”（human-on-the-loop）。

## 这些结果涵盖哪些内容？

Meta称，共有589名工程师参与使用该系统，占其触达对象的64%。所提供的材料没有说明系统测试了多少项代码变更，也没有说明除工程师反馈外，60%的真阳性率是如何衡量的。因此，这些数字反映的是Meta内部部署情况，并非已在其他公司或代码库中得到验证的结果。

对Meta工程师而言，该系统在代码合入前增加了一道检查，旨在发现常规测试可能遗漏的问题。它属于Meta自有基础设施；所提供的信息并未显示该工具向公众开放或供外部开发者使用。

## 事实

- Meta称，Catching JiTTests在2026年上半年帮助其在代码进入生产环境前发现了74个严重隐私漏洞。
- Meta报告称，同期严重隐私事件总数减少了20%。
- 参与处理系统发现的工程师反馈称，真阳性率为60%。
- Meta称，589名工程师参与使用该系统，占其触达对象的64%。

## 为什么重要

对Meta工程师而言，JiTTests提供了额外机会，可在代码发布前发现隐私漏洞，而且不必逐一检查所有生成的测试。Meta称该系统减少了严重隐私事件，但这些数字只是公司的内部结果，无法说明这种方法在其他地方是否同样有效。

## 来源与参考

1. [Meet Meta’s JiTTests: LLM-Generated Tests Designed to Fail Before Risky Code Lands](https://www.marktechpost.com/2026/11/16/meta-jittests-llm-catching-tests-privacy-bugs/) – MarkTechPost, 2026-11-16
2. [Meta](https://engineering.fb.com/2026/10/29/security/catching-bugs-before-they-land-jittestings-human-on-the-loop-approach-at-full-scale/?utm_source=openai) – Meta

最后更新: 2026-11-16
