Oossa

llama.cpp b12549 corrige o tratamento de atenção do Inkling2

A atualização dá ao Inkling2 uma entrada própria de atenção com posição relativa e corrige a reutilização de máscaras em modelos de memória híbrida, como LFM2 e LFM3.

NotaPor Publicado pelo Oossa: 1 min de leitura

A equipe ggml-org lançou o llama.cpp b12549, com correções no tratamento das máscaras de atenção do Inkling2, um modelo compatível com o projeto. A atualização dá ao Inkling2 uma entrada própria que cria a máscara de atenção densa e o viés de posição relativa a partir das mesmas células. Também corrige a criação de máscaras para memória híbrida, que impedia a reutilização do grafo com um cache unificado e atenção flash — um problema que afetava LFM2, LFM3 e Inkling2. A versão também permite que a escala dos pesos dos especialistas e o softcap dos logits finais do Inkling2 sejam zero.

Por que importa

Para quem executa esses modelos de memória híbrida no llama.cpp, as correções resolvem uma condição que impedia a reutilização do grafo com um cache unificado e atenção flash; as notas da versão não quantificam nenhum ganho de velocidade.

Este artigo foi útil?
Compartilhar

Leia a seguir

Oossa · Newsletter

A semana em IA, explicada

Toda segunda-feira: as notícias que valem a pena, em linguagem simples. Grátis, sem spam.