# Les vérificateurs de code généré présentent des lacunes

> Une étude sur arXiv distingue l’acceptation par le vérificateur, le lien entre preuve et spécification, et la correction en conditions réelles. Elle relève d’importants écarts sur trois benchmarks de code.

Oossa · 2026-11-05 · https://oossa.com/fr/study-finds-gaps-in-llm-code-verification

Un article publié sur arXiv le 5 novembre examine ce que signifie « vérifié » pour du code généré par de grands modèles de langage. Il distingue trois contrôles : l’acceptation du code par un vérificateur, le lien entre la preuve et une spécification, et la fidélité de cette spécification à l’exigence initiale.

Dans un test, les auteurs font état d’un taux d’acceptation de 99.1% par le vérificateur sur HumanEval, mais seulement 1.9% des échantillons disposaient d’un certificat lié à un prédicat ou à une fonction définis dans la spécification. Dans une chaîne de traitement Rust distincte, conçue pour garantir ce lien, 11.48% des échantillons MBPP-Rust vérifiés structurellement et 14.82% des échantillons d’un sous-ensemble de VeriContest échouaient malgré tout aux tests cachés.

## Les faits

- L’article fait état d’un taux d’acceptation de 99.1% par le vérificateur et de 1.9% de certificats liés à une spécification sur HumanEval.
- Pour le sous-ensemble VeriContest LC, les auteurs indiquent un taux de réussite de bout en bout de 7.79% (535 sur 6,870) ; les comparaisons avec d’autres modèles ne portaient pas sur des budgets de tâches, des réparations ou des bancs de test équivalents.

## Pourquoi c'est important

Pour les équipes qui s’appuient sur la vérification de preuves afin d’évaluer le code généré, ces résultats montrent que l’acceptation par un vérificateur ne suffit pas nécessairement à établir un lien pertinent avec les exigences, ni à garantir la correction du code face à des tests cachés.

## Sources et références

1. [Verified but Vacuous: Three Failure Surfaces of LLM-Driven Verified Code Generation](https://arxiv.org/abs/2611.05590) – arXiv, 2026-11-05

Dernière mise à jour: 2026-11-05