Die Open-Source-Bibliothek llama.cpp ist am 15. Okt. 2026 in Version b11632 erschienen. Sie ergänzt einen Chunked-GDN-Kernel (Gaussian-Diffusion-Normalization) für CUDA und HIP und verbessert damit die GPU-Unterstützung. Nach Tests zur Korrektheit und zu Prefill-Benchmarks aktiviert das Update die Befehlssätze SM86 und SM89 auf getesteten Ampere- und Ada-GPUs, darunter RTX 3090 und RTX 4090. Ältere Builds wurden korrigiert; außerdem kommt in der GDN-MMA-Phase (Matrix-Multiply-Accumulate) nun eine überarbeitete Swizzle-API zum Einsatz.
Warum es wichtig ist
Entwickler können auf neueren Nvidia-GPUs schneller und zuverlässiger mit llama.cpp Inferenz ausführen.
