Teamet bakom ggml‑org släppte version b11759 av llama.cpp den 20 Oct 2026. Uppdateringen lägger till en flash attention-operation (fattn) i backend-systemet ggml‑zdnn och ersätter scratch-platser med en scratch-buffertpool. Ändringen har godkänts av medarbetaren Aaron Teo. Flash attention snabbar upp den attention-beräkning som stora språkmodeller använder.
Varför det spelar roll
Flash attention kan korta inferenstiden för den som kör llama.cpp lokalt, så att chattbaserade modeller upplevs som snabbare.
