Oossa

llama.cpp återställer FP16–FP32-hastigheten på Intel-processorer

Version b11635, som släpptes den 15 oktober 2026, behåller uppslagstabellen för FP16→FP32 på x86 och åtgärdar en fördröjning i kvantiserade kärnor.

NotisAv Publicerad av Oossa: 1 min läsning

Det öppna biblioteket llama.cpp släppte version b11635 den 2026-10-15. Uppdateringen ändrar processorkoden så att uppslagstabellen för FP16-till-FP32-konvertering behålls på x86-processorer med stöd för instruktionsuppsättningen F16C. Den tidigare ändringen lät F16C hantera båda skalära konverteringarna, vilket gjorde matrismultiplikationskärnorna Q8_0/Q4_0 45–65 % långsammare. Den nya åtgärden kommenterar bort den problematiska definitionen och återställer den ursprungliga tabellen för FP16→FP32-konverteringar.

Varför det spelar roll

Utvecklare som kör llama.cpp på Intel-processorer får märkbart snabbare inferens när de uppdaterar.

Var den här artikeln användbar?
Dela

Läs vidare

Oossa · Nyhetsbrev

Veckans AI, förklarad

Varje måndag: nyheterna som är värda att känna till, på enkel svenska. Gratis, ingen spam.