# Studie visar brister i verifiering av LLM-genererad kod

> En arXiv-artikel skiljer mellan att en verifierare godkänner koden, att beviset är kopplat till specifikationen och att koden fungerar i praktiken – och hittar stora skillnader i tre kodbenchmarkar.

Oossa · 2026-11-05 · https://oossa.com/sv/study-finds-gaps-in-llm-code-verification

En artikel som publicerades på arXiv den 5 november undersöker vad det innebär att kod som genererats av stora språkmodeller är ”verifierad”. Författarna skiljer mellan tre kontroller: om en verifierare godkänner koden, om beviset är knutet till en specifikation och om specifikationen motsvarar det ursprungliga kravet.

I ett test rapporterar författarna att verifieraren godkände 99,1 % av koden i HumanEval, men att bara 1,9 % av exemplen hade ett certifikat kopplat till ett predikat eller en funktion som definierats i specifikationen. I en separat Rust-pipeline, utformad för att säkerställa den kopplingen, underkändes ändå 11,48 % av de strukturellt verifierade exemplen i MBPP-Rust och 14,82 % i ett urval från VeriContest när de kördes mot dolda tester.

## Fakta

- Artikeln rapporterar att verifieraren godkände 99,1 % av koden i HumanEval, medan 1,9 % hade certifikat kopplade till specifikationen.
- För VeriContest LC-urvalet rapporterar författarna en andel på 7,79 % från början till slut (535 av 6 870). Jämförelserna med andra modeller tog inte hänsyn till samma uppgiftsbudget, reparationsmöjligheter eller testmiljö.

## Varför det spelar roll

För team som använder beviskontroll för att bedöma genererad kod visar resultaten att en verifierares godkännande i sig inte nödvändigtvis innebär att koden är meningsfullt kopplad till kraven eller klarar dolda tester.

## Källor och referenser

1. [Verified but Vacuous: Three Failure Surfaces of LLM-Driven Verified Code Generation](https://arxiv.org/abs/2611.05590) – arXiv, 2026-11-05

Senast uppdaterad: 2026-11-05