Oossa

Meta称JiTTests在发布前发现74个隐私漏洞

Meta称,其AI生成的测试在2026年上半年标记出74个严重隐私漏洞。工程师认为,报告的问题中有60%确实存在。

作者: Oossa 发布日期: 2 分钟阅读

Katie Moum · Unsplash

Meta已将其JiTTests系统投入生产环境,利用大型语言模型(LLM)——也就是聊天机器人背后的那类AI——生成测试,在代码变更发布前查找漏洞。Meta称,2026年上半年,该系统帮助发现了74个严重隐私漏洞,相关变更尚未进入生产环境。

Meta还称,在此期间,该系统使其归类为严重的隐私事件总数减少了20%。参与处理系统发现的工程师反馈称,真阳性率为60%,也就是说,他们认为每十项被标记的问题中约有六项确实是问题。这些是Meta公布的结果;所提供的材料中没有独立评估。

它是如何运作的?

JiTTests与那些读取代码并指出潜在问题的AI工具不同。Meta的系统会生成可执行测试:如果代码变更导致了测试旨在捕捉的行为,测试就会失败。这些测试针对的是Meta风险评分系统认为更可能造成严重回归问题的代码变更。

该系统会利用夜间闲置的计算资源运行,检查前一天提交的高风险代码变更。它采用两种方法:一种让LLM推断变更的预期用途,以及可能出错的地方;另一种则假设变更可能有问题,并生成测试来揭示行为差异。未通过的测试会进入候选名单,等待审核。

随后,Meta会使用基于规则的检查器和由多个LLM组成的集成模型——也就是让多个模型评估结果——筛除可能的误报。工程师设定标准,并在汇总层面审核结果,而不是逐一检查所有生成的测试。Meta将这种做法称为“人在环上”(human-on-the-loop)。

这些结果涵盖哪些内容?

Meta称,共有589名工程师参与使用该系统,占其触达对象的64%。所提供的材料没有说明系统测试了多少项代码变更,也没有说明除工程师反馈外,60%的真阳性率是如何衡量的。因此,这些数字反映的是Meta内部部署情况,并非已在其他公司或代码库中得到验证的结果。

对Meta工程师而言,该系统在代码合入前增加了一道检查,旨在发现常规测试可能遗漏的问题。它属于Meta自有基础设施;所提供的信息并未显示该工具向公众开放或供外部开发者使用。

为什么重要

对Meta工程师而言,JiTTests提供了额外机会,可在代码发布前发现隐私漏洞,而且不必逐一检查所有生成的测试。Meta称该系统减少了严重隐私事件,但这些数字只是公司的内部结果,无法说明这种方法在其他地方是否同样有效。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。