De opensourcebibliotheek llama.cpp heeft op 2026-10-18 een nieuwe versie uitgebracht met ondersteuning voor SUM op niet-aaneengesloten tensors. De wijziging werkt op CPU-, CUDA-, Vulkan- en WebGPU-backends; de testsuite bevat nu ook testgevallen voor deze views. Daarnaast is de lijst met vooraf gebouwde binaries uitgebreid voor macOS, Linux, Android en Windows, met ondersteuning voor uiteenlopende hardwarecombinaties zoals Apple Silicon, Intel, AMD, NVIDIA CUDA 12/13 en Snapdragon NPU. De projectwebsite en attestaties zijn gelinkt om de bestanden te downloaden.
Waarom het ertoe doet
Ontwikkelaars kunnen nu op meer apparaten sneller en geheugenefficiënter sommen berekenen, wat de prestaties van LLM-inferentiepijplijnen kan verbeteren.
