Oossa

llama.cpp b12549 fixar uppmärksamhetshanteringen för Inkling2

Uppdateringen ger Inkling2 en särskild indata för relativ positionsuppmärksamhet och fixar återanvändning av masker för modeller med hybridminne, däribland LFM2 och LFM3.

NotisAv Publicerad av Oossa: 1 min läsning

ggml-org-teamet har släppt llama.cpp b12549, med korrigeringar av hanteringen av uppmärksamhetsmasker för Inkling2, en modell som stöds av projektet. Uppdateringen ger Inkling2 en särskild indata som bygger dess täta uppmärksamhetsmask och relativa positionsbias från samma celler. Den fixar också konstruktionen av masker för hybridminne, som hindrade återanvändning av beräkningsgrafer med en enhetlig cache och flash attention. Det påverkade LFM2, LFM3 och Inkling2. I uppdateringen blir det dessutom tillåtet att sätta Inkling2:s skala för expertvikter och softcap för slutlogit till noll.

Varför det spelar roll

För den som kör dessa modeller med hybridminne i llama.cpp åtgärdar fixarna ett problem som hindrade återanvändning av beräkningsgrafer med en enhetlig cache och flash attention. Versionsinformationen anger ingen uppmätt prestandaförbättring.

Var den här artikeln användbar?
Dela

Läs vidare

Oossa · Nyhetsbrev

Veckans AI, förklarad

Varje måndag: nyheterna som är värda att känna till, på enkel svenska. Gratis, ingen spam.