# Исследование выявило пробелы в проверке кода LLM

> В статье на arXiv отдельно оцениваются принятие кода верификатором, связь доказательства со спецификацией и корректность в реальных условиях. На трёх тестовых наборах обнаружены значительные расхождения.

Oossa · 2026-11-05 · https://oossa.com/ru/study-finds-gaps-in-llm-code-verification

В статье, опубликованной на arXiv 5 ноября, рассматривается, что означает «верифицированный» код, сгенерированный большими языковыми моделями. Авторы разделяют три проверки: принимает ли верификатор код, связано ли доказательство со спецификацией и отражает ли эта спецификация исходное требование.

В одном из тестов авторы сообщают, что верификатор принял 99.1% решений на HumanEval, но лишь для 1.9% примеров сертификат был связан с предикатом или функцией, заданными спецификацией. В отдельном конвейере на Rust, разработанном для обеспечения такой связи, скрытые тесты не прошли 11.48% структурно верифицированных примеров MBPP-Rust и 14.82% примеров из части VeriContest.

## Факты

- В статье сообщается, что на HumanEval верификатор принял 99.1% решений, а сертификаты, связанные со спецификацией, были только у 1.9% примеров.
- Для части VeriContest LC авторы сообщают об итоговом показателе 7.79% (535 из 6,870); сравнения с другими моделями проводились при неодинаковом бюджете на выполнение задач, исправления и тестовую инфраструктуру.

## Почему это важно

Для команд, которые используют проверку доказательств при оценке сгенерированного кода, результаты показывают: одного лишь принятия кода верификатором может быть недостаточно, чтобы установить его содержательную связь с требованиями или корректность при прохождении скрытых тестов.

## Источники и ссылки

1. [Verified but Vacuous: Three Failure Surfaces of LLM-Driven Verified Code Generation](https://arxiv.org/abs/2611.05590) – arXiv, 2026-11-05

Обновлено: 2026-11-05