# Estudio detecta fallas al verificar código generado por LLM

> Un artículo de arXiv distingue entre la aceptación del verificador, el vínculo entre la prueba y la especificación, y la corrección en condiciones reales; detecta grandes brechas en tres pruebas de código.

Oossa · 2026-11-05 · https://oossa.com/es/study-finds-gaps-in-llm-code-verification

Un artículo publicado en arXiv el 5 de noviembre analiza qué significa que el código generado por modelos de lenguaje grandes esté «verificado». Distingue tres comprobaciones: si un verificador acepta el código, si la prueba está vinculada a una especificación y si esa especificación refleja el requisito original.

En una prueba, los autores informan que el verificador aceptó el 99.1% de los casos de HumanEval, pero solo el 1.9% de las muestras tenía un certificado vinculado a un predicado o una función definidos por una especificación. En una canalización independiente para Rust, diseñada para garantizar ese vínculo, el 11.48% de las muestras de MBPP-Rust verificadas estructuralmente y el 14.82% de una selección de VeriContest aun así no superaron las pruebas ocultas.

## Los hechos

- El artículo informa una aceptación del verificador del 99.1% y certificados vinculados a una especificación en el 1.9% de los casos de HumanEval.
- En la selección LC de VeriContest, los autores informan una tasa integral del 7.79% (535 de 6,870); las comparaciones con otros modelos no igualaron el presupuesto de tareas, la reparación ni el entorno de pruebas.

## Por qué importa

Para los equipos que usan la comprobación de pruebas para evaluar código generado, los resultados muestran que la aceptación del verificador por sí sola quizá no demuestre que exista un vínculo significativo con los requisitos ni que el código supere pruebas ocultas.

## Fuentes y referencias

1. [Verified but Vacuous: Three Failure Surfaces of LLM-Driven Verified Code Generation](https://arxiv.org/abs/2611.05590) – arXiv, 2026-11-05

Última actualización: 2026-11-05