# Estudo aponta lacunas na verificação de código por LLMs

> Artigo no arXiv distingue a aceitação pelo verificador, o vínculo entre prova e especificação e a correção no mundo real, e identifica grandes lacunas em três benchmarks de código.

Oossa · 2026-11-05 · https://oossa.com/pt/study-finds-gaps-in-llm-code-verification

Um artigo publicado no arXiv em 5 de novembro examina o que significa dizer que um código gerado por grandes modelos de linguagem foi “verificado”. O estudo distingue três etapas: se um verificador aceita o código, se a prova está vinculada a uma especificação e se essa especificação reflete o requisito original.

Em um teste, os autores relatam que o verificador aceitou 99,1% dos códigos no HumanEval, mas apenas 1,9% das amostras tinham um certificado vinculado a um predicado ou função definido pela especificação. Em um pipeline separado em Rust, desenvolvido para assegurar esse vínculo, 11,48% das amostras do MBPP-Rust verificadas estruturalmente e 14,82% das de um recorte do VeriContest ainda falharam nos testes ocultos.

## Os fatos

- O artigo relata aceitação de 99,1% pelo verificador e certificados vinculados à especificação em 1,9% dos casos no HumanEval.
- No recorte LC do VeriContest, os autores relatam uma taxa ponta a ponta de 7,79% (535 de 6.870); as comparações com outros modelos não foram feitas com o mesmo orçamento de tarefas, processo de correção ou estrutura de testes.

## Por que importa

Para equipes que usam verificação de provas para avaliar código gerado, os resultados mostram que a aceitação pelo verificador, por si só, pode não comprovar nem uma ligação significativa com os requisitos nem a correção nos testes ocultos.

## Fontes e referências

1. [Verified but Vacuous: Three Failure Surfaces of LLM-Driven Verified Code Generation](https://arxiv.org/abs/2611.05590) – arXiv, 2026-11-05

Última atualização: 2026-11-05