De opensourcebibliotheek llama.cpp heeft op 2026-10-15 versie b11635 uitgebracht. De CPU-code is aangepast zodat de FP16-naar-FP32-opzoektabel behouden blijft op x86-processors die de F16C-instructieset ondersteunen. Door de vorige wijziging liepen beide scalaire conversies via F16C, waardoor matrixvermenigvuldigingskernels voor Q8_0/Q4_0 45-65 % trager werden. De nieuwe oplossing schakelt de problematische define uit en herstelt de oorspronkelijke tabel voor FP16→FP32-conversies.
Waarom het ertoe doet
Ontwikkelaars die llama.cpp op Intel-cpu’s gebruiken, krijgen na de update merkbaar snellere modelinferentie.
