Anthropic heeft bekendgemaakt dat zijn Claude-model automatisch formele verificatiebewijzen kan opstellen voor bestaande code. In een test met 123 libraries uit het OSS-Fuzz-project van Google genereerde Claude in enkele weken ongeveer 180 miljoen regels bewijs. De bewijzen werden gecontroleerd door de Rocq-verifier. Volgens Anthropic waren er bij dit proces vrijwel geen menselijke beoordelaars nodig.
Wat het systeem precies deed
Claude schreef geen nieuwe programma’s. In plaats daarvan zette het testgevallen die crashes veroorzaakten om in wiskundige beweringen, analyseerde het de gecompileerde machinecode en leverde het formele bewijzen dat de code aan die beweringen voldoet. Als het model een bug tegenkwam, mocht het de code zelf aanpassen. Tijdens een week waarin Claude een populaire pdf-lezer controleerde, ontdekte het evenveel beveiligingsbugs als er doorgaans in een heel jaar worden gemeld. In een andere library vond het een logische fout die al meer dan tien jaar verborgen was gebleven.
Beperkingen en kosten
Anthropic waarschuwt dat de bewijzen alleen geldig zijn voor een programma met één thread dat op een specifieke processorarchitectuur draait en invoer van minder dan 64 MB verwerkt. De benodigde rekenkracht is groot: voor afzonderlijke bewijzen zijn honderden miljoenen tokens nodig. Het bedrijf maakte de totale kosten echter niet bekend. Uit een kleinere test bleek dat het nieuwere model Opus 5.5 de helft van de bewijzen kan voltooien met ongeveer 40 % minder tokens dan zijn voorganger.
Waarom het ertoe doet
Als AI code automatisch kan verifiëren, hoeven ontwikkelaars mogelijk minder tijd te besteden aan het opsporen van bugs en het beoordelen van patches, vooral bij veiligheidskritieke software. De huidige aanpak werkt echter alleen binnen strikte beperkingen voor hardware en invoer, waardoor voor de meeste alledaagse toepassingen traditionele tests nog steeds nodig zijn.
