Il team ggml-org ha rilasciato la versione b11413 di llama.cpp il 5 ottobre 2026. L’aggiornamento aggiunge un’implementazione Vulkan della sparse flash attention compatibile con tensori key/value quantizzati. La novità è descritta come «sparse flash attention for quantized K/V» ed è pensata per l’inferenza accelerata tramite GPU. La release include inoltre numerose build per diverse piattaforme, da macOS con Apple Silicon a Windows con CUDA e Vulkan.
Perché conta
Gli sviluppatori possono ora eseguire più velocemente modelli quantizzati sulle GPU compatibili con Vulkan, riducendo i costi di calcolo per i dispositivi edge.
