Anthropic은 자사의 Claude 모델이 기존 코드에 대한 형식 검증 증명을 자동으로 만들 수 있다고 발표했다. Google의 OSS‑Fuzz 프로젝트에 포함된 라이브러리 123개를 대상으로 시험한 결과, Claude는 몇 주 만에 증명 코드 약 180 million줄을 생성했다. 이 증명은 Rocq 검증기로 확인됐으며, Anthropic은 이 과정에 사람의 검토가 거의 필요하지 않았다고 밝혔다.
시스템이 실제로 한 일
Claude는 새 프로그램을 작성하지 않았다. 대신 크래시 테스트 사례를 수학적 명제로 바꾸고, 컴파일된 기계어 코드를 분석한 뒤 코드가 해당 명제를 만족한다는 형식 증명을 생성했다. 모델이 버그를 발견하면 코드를 직접 수정할 수도 있었다. 인기 PDF 리더를 일주일 동안 검사하는 과정에서 Claude는 보통 1년 동안 보고되는 것과 같은 수의 보안 버그를 찾아냈다. 다른 라이브러리에서는 10년 넘게 발견되지 않은 논리 오류를 찾아냈다.
한계와 비용
Anthropic은 이 증명이 특정 프로세서 아키텍처에서 실행되는 단일 스레드 프로그램에만 유효하며, 입력 크기도 64 MB 미만이어야 한다고 설명했다. 연산량도 많아 증명 하나에 수억 토큰이 들지만, 회사는 총비용을 공개하지 않았다. 소규모 시험에서는 최신 모델인 Opus 5.5가 이전 모델보다 토큰을 약 40 % 적게 사용하면서 증명의 절반을 완료할 수 있는 것으로 나타났다.
왜 중요한가
AI가 코드를 자동으로 검증할 수 있다면 개발자는 특히 안전이 중요한 소프트웨어에서 버그를 찾고 패치를 검토하는 데 드는 시간을 줄일 수 있다. 하지만 현재 방식은 하드웨어와 입력 조건이 엄격하게 제한돼 있어, 대부분의 일상적인 애플리케이션에는 여전히 기존 테스트가 필요하다.
