Anthropic gab bekannt, dass sein Claude-Modell für bestehenden Code automatisch formale Verifikationsbeweise erstellen kann. Bei einem Test mit 123 Bibliotheken aus Googles OSS-Fuzz-Projekt generierte Claude innerhalb weniger Wochen rund 180 Millionen Zeilen Beweise. Der Rocq-Verifizierer überprüfte die Beweise; laut Anthropic waren dafür so gut wie keine menschlichen Prüfer nötig.
Was das System tatsächlich getan hat
Claude schrieb keine neuen Programme. Stattdessen wandelte es Crash-Testfälle in mathematische Aussagen um, analysierte den kompilierten Maschinencode und erstellte formale Beweise dafür, dass der Code diese Aussagen erfüllt. Wenn das Modell auf einen Fehler stieß, durfte es den Code selbst korrigieren. Bei einer einwöchigen Prüfung eines beliebten PDF-Readers entdeckte Claude so viele Sicherheitslücken, wie normalerweise innerhalb eines ganzen Jahres gemeldet werden. In einer anderen Bibliothek fand es einen logischen Fehler, der mehr als zehn Jahre lang verborgen geblieben war.
Grenzen und Kosten
Anthropic weist darauf hin, dass die Beweise nur für ein einsträngiges Programm gelten, das auf einer bestimmten Prozessorarchitektur läuft und Eingaben unter 64 MB verarbeitet. Der Rechenaufwand ist hoch – für einzelne Beweise fallen Hunderte Millionen Tokens an –, doch das Unternehmen machte keine Angaben zu den Gesamtkosten. Ein kleinerer Test zeigte, dass das neuere Modell Opus 5.5 die Hälfte der Beweise mit rund 40 % weniger Tokens als sein Vorgänger erstellen kann.
Warum es wichtig ist
Wenn KI Code automatisch verifizieren kann, müssen Entwickler möglicherweise weniger Zeit mit der Fehlersuche und der Prüfung von Codeänderungen verbringen – besonders bei sicherheitskritischer Software. Derzeit funktioniert dieser Ansatz jedoch nur unter strengen Hardware- und Eingabebeschränkungen. Für die meisten alltäglichen Anwendungen sind herkömmliche Tests daher weiterhin nötig.
