연구진은 기계가 검증할 수 있는 증명을 작성하는 언어 Lean에서 명제를 증명하거나 반증하는 AI 에이전트 시스템 EasyProver를 공개했다. 아울러 경쟁 프로그래밍 문제를 Rust 구현과 연계된 검증 과제로 바꾼 벤치마크 Aegis도 소개했다.
연구진의 평가에서 EasyProver는 Aegis 명제 2,000개를 표본으로 뽑아 명제당 30분의 제한 시간 안에 1,054개를 증명했다. 논문은 기존 정리 증명 벤치마크에서도 높은 점수를 기록했다고 보고했으며, 연구진은 해당 벤치마크의 성능이 포화 수준에 가깝다고 밝혔다.
왜 중요한가
Rust 코드에 형식 검증 도입을 고려하는 소프트웨어 팀에 Aegis는 정수 형 변환과 실패 동작 같은 세부 사항을 포함한 과제를 제공한다. 다만 EasyProver가 각 팀의 자체 코드를 효율적으로 검증할 수 있을지는 아직 알려지지 않았다.