Meta는 대규모 언어 모델(LLM), 즉 챗봇 등에 쓰이는 AI를 활용해 코드 변경 사항이 배포되기 전에 버그를 찾아내는 테스트를 생성하는 ‘Catching JiTTests’ 시스템을 운영 환경에 도입했습니다. Meta는 이 시스템이 2026년 상반기에 심각한 개인정보 보호 버그 74건을 발견해 실제 서비스에 반영되기 전에 막는 데 도움이 됐다고 밝혔습니다.
회사 측은 같은 기간 심각한 수준으로 분류한 개인정보 보호 사고가 전체적으로 20% 줄었다고도 밝혔습니다. 발견 사항을 검토한 엔지니어들의 응답을 기준으로 하면 실제 문제로 판정된 비율은 60%였습니다. 즉, 표시된 문제 10건 중 약 6건이 실제 버그라고 판단됐다는 의미입니다. 이는 Meta가 공개한 결과이며, 제공된 자료에는 독립적인 평가가 포함돼 있지 않습니다.
어떻게 작동하나?
JiTTests는 코드를 읽고 잠재적 결함에 대한 의견을 제시하는 AI 도구와 다릅니다. Meta의 시스템은 코드 변경으로 인해 포착하려는 동작이 발생하면 실패하도록 설계된 실행 가능한 테스트를 생성합니다. Meta의 위험 점수 시스템이 심각한 회귀 문제를 일으킬 가능성이 높다고 판단한 변경 사항을 대상으로 합니다.
시스템은 밤사이 사용되지 않는 컴퓨팅 자원을 활용해 전날 제출된 위험성 높은 코드 변경 사항을 검사합니다. 두 가지 방식을 사용합니다. 하나는 LLM에 변경 사항의 의도와 문제가 생길 수 있는 지점을 추론하게 하고, 다른 하나는 변경 사항에 결함이 있을 수 있다고 보고 동작 차이를 드러내는 테스트를 생성합니다. 실패한 테스트는 검토 대상이 됩니다.
이후 Meta는 규칙 기반 검사기와 여러 모델이 결과를 평가하는 LLM 앙상블을 활용해 오탐 가능성이 높은 결과를 걸러냅니다. 엔지니어는 기준을 설정하고 생성된 테스트를 하나하나 확인하는 대신 전체 결과를 검토합니다. Meta는 이를 ‘휴먼 온 더 루프(human-on-the-loop)’ 방식이라고 부릅니다.
결과에는 무엇이 포함되나?
Meta에 따르면 589명의 엔지니어가 시스템을 활용했으며, 이는 시스템이 결과를 전달한 대상의 64%에 해당합니다. 제공된 자료에는 검사한 코드 변경 사항의 수나 엔지니어 의견 외에 60%의 실제 적중률을 어떻게 측정했는지는 나와 있지 않습니다. 따라서 이 수치는 Meta 내부 도입 결과를 나타내며, 다른 회사나 코드베이스에서도 같은 성과가 확인된 것은 아닙니다.
Meta 엔지니어에게 이 시스템은 코드가 반영되기 전에 추가로 확인할 기회를 제공해 일반적인 테스트가 놓칠 수 있는 문제를 찾는 것을 목표로 합니다. Meta 자체 인프라의 일부이며, 제공된 정보에는 외부 개발자가 이용할 수 있는 공개 도구라는 내용이 없습니다.
왜 중요한가
JiTTests는 Meta 엔지니어가 코드 배포 전에 개인정보 보호 버그를 추가로 찾아낼 기회를 제공하며, 생성된 테스트를 모두 직접 확인할 필요는 없습니다. Meta는 이 시스템으로 심각한 개인정보 보호 사고가 줄었다고 밝혔지만, 수치는 회사 내부 결과이므로 다른 곳에서도 같은 효과를 낼지는 알 수 없습니다.