# LLM 코드 검증, 큰 공백 드러나

> arXiv 논문은 검증기의 코드 승인, 증명과 명세의 연결, 실제 요구사항에 대한 정확성을 구분해 세 가지 코드 벤치마크에서 큰 격차를 확인했다.

Oossa · 2026-11-05 · https://oossa.com/ko/study-finds-gaps-in-llm-code-verification

11월 5일 arXiv에 공개된 논문은 대규모 언어 모델이 생성한 코드에서 ‘검증됐다’는 말이 무엇을 뜻하는지 살펴본다. 연구진은 검증기가 코드를 승인하는지, 증명이 명세와 연결돼 있는지, 그리고 그 명세가 원래 요구사항을 반영하는지 등 세 가지를 구분했다.

연구진은 한 실험에서 HumanEval 코드의 99.1%가 검증기 승인을 받았지만, 샘플 가운데 명세에 정의된 술어나 함수와 연결된 인증서를 갖춘 것은 1.9%에 불과했다고 밝혔다. 이런 연결을 보장하도록 설계된 별도의 Rust 파이프라인에서는 구조 검증을 통과한 MBPP-Rust 샘플의 11.48%와 VeriContest 일부 데이터의 14.82%가 숨겨진 테스트에서 여전히 실패했다.

## 팩트

- 논문에 따르면 HumanEval에서 검증기 승인율은 99.1%, 명세와 연결된 인증서 비율은 1.9%였다.
- VeriContest LC 일부 데이터에서 연구진이 보고한 엔드투엔드 비율은 7.79%(6,870개 중 535개)였다. 다른 모델과의 비교에서는 작업 예산, 수정 과정, 테스트 하네스가 동일하게 맞춰지지 않았다.

## 왜 중요한가

생성된 코드를 평가하기 위해 증명 검사를 활용하는 팀은 검증기의 승인만으로 요구사항과의 의미 있는 연결이나 숨겨진 테스트에서의 정확성이 입증되는 것은 아니라는 점을 보여주는 결과다.

## 출처 및 참고 자료

1. [Verified but Vacuous: Three Failure Surfaces of LLM-Driven Verified Code Generation](https://arxiv.org/abs/2611.05590) – arXiv, 2026-11-05

최종 업데이트: 2026-11-05