Meta внедрила систему Catching JiTTests, которая использует большие языковые модели (LLM) — ту же технологию, что лежит в основе чат-ботов, — для создания тестов, выявляющих ошибки в изменениях кода до их выпуска. По словам Meta, за первую половину 2026 года система помогла обнаружить 74 серьёзные ошибки, связанные с конфиденциальностью, прежде чем соответствующие изменения попали в рабочую среду.
Компания также утверждает, что за этот период система помогла сократить общее число серьёзных инцидентов, связанных с конфиденциальностью, на 20%. Инженеры, ознакомившиеся с результатами системы, сообщили, что 60% срабатываний оказались верными: примерно шесть из десяти отмеченных проблем они признали реальными. Это результаты, представленные Meta; в предоставленных материалах нет независимой оценки системы.
Как это работает?
JiTTests отличаются от ИИ-инструментов, которые анализируют код и указывают на возможные ошибки. Система Meta генерирует исполняемые тесты, которые должны завершиться с ошибкой, если изменение кода вызывает поведение, на которое рассчитан тест. В первую очередь проверяются изменения, которые система оценки рисков Meta считает более склонными привести к серьёзным сбоям.
Система работает по ночам, используя свободные вычислительные ресурсы, и проверяет рискованные изменения кода, отправленные накануне. Она применяет два подхода: в одном LLM пытается определить, для чего предназначено изменение и что может пойти не так; в другом изменение изначально считается потенциально ошибочным, а тесты генерируются для выявления различий в поведении. Тесты, завершившиеся с ошибкой, передаются на проверку.
Затем Meta использует проверку на основе правил и ансамбль LLM — несколько моделей, которые оценивают результат, — чтобы отсеять вероятные ложные срабатывания. Инженеры задают критерии и анализируют итоги в целом, а не проверяют каждый сгенерированный тест. Meta называет такой подход «human-on-the-loop» — с участием человека в контроле системы.
Что показывают результаты?
По данным Meta, с системой работали 589 инженеров — это 64% тех, кому она была предложена. В предоставленных материалах компания не указала, сколько изменений кода было проверено и как именно, помимо отзывов инженеров, рассчитывался показатель в 60% верных срабатываний. Поэтому приведённые цифры описывают внедрение системы внутри Meta, а не результаты, подтверждённые для других компаний или кодовых баз.
Для инженеров Meta система — ещё одна проверка перед добавлением кода, призванная выявлять проблемы, которые могут пропустить обычные тесты. Она входит во внутреннюю инфраструктуру Meta; в предоставленной информации не говорится о том, что инструмент доступен широкой публике или сторонним разработчикам.
Почему это важно
Для инженеров Meta JiTTests даёт дополнительную возможность обнаружить ошибки, связанные с конфиденциальностью, до выпуска кода и не требует проверять каждый сгенерированный тест. Meta утверждает, что система помогла сократить число серьёзных инцидентов, однако это внутренние результаты компании, и они не показывают, насколько хорошо такой подход сработает в других условиях.