# Lo studio rileva lacune nella verifica del codice generato dagli LLM

> Un articolo su arXiv distingue tra accettazione da parte del verificatore, legame tra prova e specifica e correttezza nel mondo reale, riscontrando ampie lacune in tre benchmark di codice.

Oossa · 2026-11-05 · https://oossa.com/it/study-finds-gaps-in-llm-code-verification

Un articolo pubblicato su arXiv il 5 novembre esamina cosa significhi «verificato» nel caso del codice generato da modelli linguistici di grandi dimensioni. Distingue tre controlli: se un verificatore accetta il codice, se la prova è collegata a una specifica e se tale specifica rispecchia il requisito originario.

In un test, gli autori riportano un tasso di accettazione del 99,1% da parte del verificatore su HumanEval, ma solo l’1,9% dei campioni aveva un certificato collegato a un predicato o a una funzione definiti dalla specifica. In una pipeline Rust separata, progettata per garantire questo collegamento, l’11,48% dei campioni MBPP-Rust verificati strutturalmente e il 14,82% dei campioni di una porzione di VeriContest non hanno comunque superato i test nascosti.

## I fatti

- Secondo l’articolo, su HumanEval il verificatore ha accettato il 99,1% dei campioni, mentre l’1,9% aveva certificati collegati alla specifica.
- Sulla porzione LC di VeriContest, gli autori riportano un tasso end-to-end del 7,79% (535 su 6.870); i confronti con altri modelli non erano condotti a parità di budget per i task, procedure di correzione o infrastrutture di test. 

## Perché conta

Per i team che usano la verifica formale per valutare il codice generato, i risultati mostrano che la sola accettazione da parte del verificatore potrebbe non dimostrare né un legame significativo con i requisiti né la correttezza rispetto a test nascosti.

## Fonti e riferimenti

1. [Verified but Vacuous: Three Failure Surfaces of LLM-Driven Verified Code Generation](https://arxiv.org/abs/2611.05590) – arXiv, 2026-11-05

Ultimo aggiornamento: 2026-11-05