Oossa

llama.cpp får CUDA-buffertpool för felsökning i b12318

Det öppna inferensbiblioteket för LLaMA får en CUDA-buffertpool för felsökning och uppdaterade binärbyggen för macOS, iOS och Linux.

NotisAv Publicerad av Oossa: 1 min läsning

ggml-org släppte version b12318 av llama.cpp den 2026-11-12. Uppdateringen lägger till en CUDA-buffertpool för felsökning som hjälper utvecklare att hålla koll på minnesanvändningen med compute-sanitizer. Den innehåller också nya förbyggda binärer för Apple Silicon, Intel-baserade Mac-datorer, iOS samt flera Ubuntu-versioner för CPU och Vulkan.

Varför det spelar roll

Utvecklare som kör LLaMA-modeller på NVIDIA-GPU:er kan nu enklare felsöka minnesproblem, vilket minskar risken för krascher under inferens.

Var den här artikeln användbar?
Dela

Läs vidare

Oossa · Nyhetsbrev

Veckans AI, förklarad

Varje måndag: nyheterna som är värda att känna till, på enkel svenska. Gratis, ingen spam.