Die Open-Source-Bibliothek llama.cpp hat am 21. Oktober 2026 Version b11761 veröffentlicht. Sie korrigiert den NEON-Zweig, sodass die fp32-zu-fp16-Konvertierung nun die Hardwareinstruktion statt einer Software-Ausweichlösung nutzt. Außerdem wird ein Fehler zur Compile-Zeit ausgelöst, um ähnliche Makro-Inkompatibilitäten aufzudecken. Die Korrektur gilt für macOS auf Apple Silicon, Linux ARM64 und Android-Geräte mit ARM, die in den Release Notes aufgeführt sind.
Warum es wichtig ist
Nutzer von ARM-Geräten profitieren von schnellerer Modellinferenz, weil die Bibliothek nun die native Halbpräzisionskonvertierung des Prozessors verwendet.
