Il team ggml-org ha rilasciato la versione b12291 di llama.cpp. L’aggiornamento introduce un’ottimizzazione basata su Vulkan che dequantizza la cache key-value usando l’istruzione coopmat2. La modifica viene applicata solo quando un’euristica basata sui token di query e sul rapporto GQA la considera sicura. L’aggiornamento corregge inoltre la gestione dell’allineamento per alcune dimensioni delle teste, migliorando le prestazioni nei casi in cui non è possibile usare l’ottimizzazione.
Perché conta
Gli sviluppatori che eseguono modelli Llama su hardware compatibile con Vulkan possono ottenere inferenze più rapide senza modificare il codice.
