A equipe ggml-org lançou o llama.cpp b12549, com correções no tratamento das máscaras de atenção do Inkling2, um modelo compatível com o projeto. A atualização dá ao Inkling2 uma entrada própria que cria a máscara de atenção densa e o viés de posição relativa a partir das mesmas células. Também corrige a criação de máscaras para memória híbrida, que impedia a reutilização do grafo com um cache unificado e atenção flash — um problema que afetava LFM2, LFM3 e Inkling2. A versão também permite que a escala dos pesos dos especialistas e o softcap dos logits finais do Inkling2 sejam zero.
Por que importa
Para quem executa esses modelos de memória híbrida no llama.cpp, as correções resolvem uma condição que impedia a reutilização do grafo com um cache unificado e atenção flash; as notas da versão não quantificam nenhum ganho de velocidade.