Oossa

llama.cpp bringt FP16-zu-FP32-Tempo auf Intel-CPUs zurück

Die am 15. Oktober 2026 veröffentlichte Version b11635 behält die FP16→FP32-Lookup-Tabelle auf x86 bei und behebt so eine Verlangsamung in quantisierten Kernels.

KurzmeldungVon Von Oossa veröffentlicht: 1 Min. Lesezeit

Die Open-Source-Bibliothek llama.cpp ist am 15.10.2026 in Version b11635 erschienen. Sie passt den CPU-Code so an, dass auf x86-Prozessoren mit F16C-Befehlssatzerweiterung die FP16-zu-FP32-Lookup-Tabelle erhalten bleibt. Durch die vorherige Änderung liefen beide skalaren Konvertierungen über F16C, wodurch Q8_0/Q4_0-Matrixmultiplikations-Kernels um 45–65 % langsamer wurden. Die neue Korrektur kommentiert die problematische Definition aus und stellt die ursprüngliche Tabelle für FP16→FP32-Konvertierungen wieder her.

Warum es wichtig ist

Wer llama.cpp auf Intel-CPUs nutzt, profitiert nach dem Update von deutlich schnellerer Modellinferenz.

War dieser Artikel hilfreich?
Teilen

Als Nächstes lesen

Oossa · Newsletter

Die KI-Woche, erklärt

Jeden Montag: die Nachrichten, die man kennen sollte – verständlich. Kostenlos, kein Spam.