Das llama.cpp-Projekt hat am 5. Okt. 2026 Version b11404 veröffentlicht. Sie enthält Metal-Kernels, die mehrere Zeilen gleichzeitig (2–16 Zeilen) auf Apple-GPUs multiplizieren. Dabei dequantisieren die Kernels jedes Gewicht nur einmal und teilen die Arbeit auf SIMD-Gruppen auf. Dadurch läuft spekulatives Decoding auf einem M3 Ultra schneller als mit dem bisherigen Mat-Vec-Verfahren. Die neuen Kernels kommen nur auf Geräten mit Unterstützung für die Apple7-GPU-Familie zum Einsatz und erst ab einer bestimmten Zeilenzahl (bei F32 beispielsweise ab 6 Zeilen). Außerdem wurde die Fusionslogik verfeinert und eine Batch-Copy-Fusion entfernt, die Probleme verursacht hatte.
Warum es wichtig ist
Wer llama.cpp auf Apple-Silicon-Geräten nutzt, profitiert beim Generieren von Text mit spekulativem Decoding von geringerer Latenz – besonders auf Geräten mit M3 Ultra.
