Det öppna biblioteket llama.cpp släppte version b11632 den 15 oktober 2026. Uppdateringen lägger till en chunkad GDN-kärna (Gaussian-Diffusion-Normalization) för både CUDA och HIP, vilket förbättrar stödet för grafikprocessorer. Den aktiverar instruktionsuppsättningarna SM86 och SM89 på testade Ampere- och Ada-grafikkort, däribland RTX 3090 och RTX 4090, efter tester av korrekthet och prefill-prestanda. Äldre versioner har fått korrigeringar, och koden använder nu ett omarbetat swizzle-API för GDN-fasen med MMA (matrix-multiply-accumulate).
Varför det spelar roll
Utvecklare kan få snabbare och mer tillförlitlig inferens med llama.cpp på nyare Nvidia-grafikkort.
