ggml-org-teamet har släppt llama.cpp b12549, med korrigeringar av hanteringen av uppmärksamhetsmasker för Inkling2, en modell som stöds av projektet. Uppdateringen ger Inkling2 en särskild indata som bygger dess täta uppmärksamhetsmask och relativa positionsbias från samma celler. Den fixar också konstruktionen av masker för hybridminne, som hindrade återanvändning av beräkningsgrafer med en enhetlig cache och flash attention. Det påverkade LFM2, LFM3 och Inkling2. I uppdateringen blir det dessutom tillåtet att sätta Inkling2:s skala för expertvikter och softcap för slutlogit till noll.
Varför det spelar roll
För den som kör dessa modeller med hybridminne i llama.cpp åtgärdar fixarna ett problem som hindrade återanvändning av beräkningsgrafer med en enhetlig cache och flash attention. Versionsinformationen anger ingen uppmätt prestandaförbättring.