Oossa

Meta: JiTTests выявила 74 ошибки конфиденциальности до релиза

За первую половину 2026 года тесты Meta, созданные с помощью ИИ, обнаружили 74 серьёзные ошибки, связанные с конфиденциальностью. По данным компании, инженеры сочли реальными 60% выявленных проблем.

Автор: Опубликовано Oossa: 2 мин чтения

Katie Moum · Unsplash

Meta внедрила систему Catching JiTTests, которая использует большие языковые модели (LLM) — ту же технологию, что лежит в основе чат-ботов, — для создания тестов, выявляющих ошибки в изменениях кода до их выпуска. По словам Meta, за первую половину 2026 года система помогла обнаружить 74 серьёзные ошибки, связанные с конфиденциальностью, прежде чем соответствующие изменения попали в рабочую среду.

Компания также утверждает, что за этот период система помогла сократить общее число серьёзных инцидентов, связанных с конфиденциальностью, на 20%. Инженеры, ознакомившиеся с результатами системы, сообщили, что 60% срабатываний оказались верными: примерно шесть из десяти отмеченных проблем они признали реальными. Это результаты, представленные Meta; в предоставленных материалах нет независимой оценки системы.

Как это работает?

JiTTests отличаются от ИИ-инструментов, которые анализируют код и указывают на возможные ошибки. Система Meta генерирует исполняемые тесты, которые должны завершиться с ошибкой, если изменение кода вызывает поведение, на которое рассчитан тест. В первую очередь проверяются изменения, которые система оценки рисков Meta считает более склонными привести к серьёзным сбоям.

Система работает по ночам, используя свободные вычислительные ресурсы, и проверяет рискованные изменения кода, отправленные накануне. Она применяет два подхода: в одном LLM пытается определить, для чего предназначено изменение и что может пойти не так; в другом изменение изначально считается потенциально ошибочным, а тесты генерируются для выявления различий в поведении. Тесты, завершившиеся с ошибкой, передаются на проверку.

Затем Meta использует проверку на основе правил и ансамбль LLM — несколько моделей, которые оценивают результат, — чтобы отсеять вероятные ложные срабатывания. Инженеры задают критерии и анализируют итоги в целом, а не проверяют каждый сгенерированный тест. Meta называет такой подход «human-on-the-loop» — с участием человека в контроле системы.

Что показывают результаты?

По данным Meta, с системой работали 589 инженеров — это 64% тех, кому она была предложена. В предоставленных материалах компания не указала, сколько изменений кода было проверено и как именно, помимо отзывов инженеров, рассчитывался показатель в 60% верных срабатываний. Поэтому приведённые цифры описывают внедрение системы внутри Meta, а не результаты, подтверждённые для других компаний или кодовых баз.

Для инженеров Meta система — ещё одна проверка перед добавлением кода, призванная выявлять проблемы, которые могут пропустить обычные тесты. Она входит во внутреннюю инфраструктуру Meta; в предоставленной информации не говорится о том, что инструмент доступен широкой публике или сторонним разработчикам.

Почему это важно

Для инженеров Meta JiTTests даёт дополнительную возможность обнаружить ошибки, связанные с конфиденциальностью, до выпуска кода и не требует проверять каждый сгенерированный тест. Meta утверждает, что система помогла сократить число серьёзных инцидентов, однако это внутренние результаты компании, и они не показывают, насколько хорошо такой подход сработает в других условиях.

Эта статья была полезной?
Поделиться

Читайте также

Oossa · Рассылка

Неделя ИИ — простыми словами

Каждый понедельник: главное за неделю понятным языком. Бесплатно, без спама.