Oossa

llama.cpp krijgt CUDA-debugbufferpool in versie b12318

De open-sourcelibrary voor LLaMA-inferentie voegt een CUDA-debugbufferpool toe en werkt de binaire builds voor macOS, iOS en Linux bij.

Kort berichtDoor Gepubliceerd door Oossa: 1 min lezen

ggml‑org bracht op 2026‑11‑12 versie b12318 van llama.cpp uit. De update voegt een CUDA-debugbufferpool toe waarmee ontwikkelaars het geheugengebruik kunnen volgen met compute-sanitizer. Ook bevat de versie nieuwe vooraf gebouwde binaries voor Apple Silicon, Intel-macs, iOS en verschillende Ubuntu-doelplatforms voor CPU en Vulkan.

Waarom het ertoe doet

Ontwikkelaars die LLaMA-modellen op NVIDIA-GPU’s draaien, kunnen geheugenproblemen nu makkelijker opsporen. Dat kan crashes tijdens inferentie helpen voorkomen.

Was dit artikel nuttig?
Delen

Lees ook

Oossa · Nieuwsbrief

De AI-week, uitgelegd

Elke maandag: het nieuws dat ertoe doet, in gewone taal. Gratis, geen spam.