Die Open-Source-Bibliothek llama.cpp hat am 2026‑10‑18 eine neue Version veröffentlicht, die Unterstützung für SUM auf nicht zusammenhängenden Tensoren bietet. Die Änderung funktioniert auf CPU-, CUDA-, Vulkan- und WebGPU-Backends; die Testsuite enthält nun auch Testfälle für solche Ansichten. Außerdem wurde die Liste der vorgefertigten Binärdateien für macOS, Linux, Android und Windows erweitert. Sie deckt zahlreiche Hardwarekombinationen ab, darunter Apple Silicon, Intel, AMD, NVIDIA CUDA 12/13 und Snapdragon NPU. Die Download-Links zur Projektwebsite und zu den Attestierungen sind ebenfalls verfügbar.
Warum es wichtig ist
Entwickler können Summen jetzt auf mehr Geräten schneller und speichereffizienter berechnen. Das kann die Leistung von LLM-Inferenzpipelines verbessern.
