Oossa

llama.cpp adiciona operação fused de máscara top‑k na versão b11800

A biblioteca de inferência de código aberto agora inclui uma nova operação fused para máscaras QSA, com ganhos de desempenho em alguns modelos.

NotaPor Publicado pelo Oossa: 1 min de leitura

O projeto ggml-org llama.cpp lançou a versão b11800 em 2026-10-21. A atualização adiciona uma operação fused de máscara top-k (ggml_top_k_mask), que pode ser usada pelos modelos QSA, DSA e DeepSeek V4 CSA. A operação substitui o código de mascaramento feito manualmente por um único nó que define como –inf as células não selecionadas. Ela funciona por cabeça e aceita pontuações opcionais, tamanhos de bloco e células extras.

Por que importa

Os desenvolvedores podem executar os modelos compatíveis com mais rapidez, porque a biblioteca agora realiza o mascaramento em uma única etapa otimizada.

Este artigo foi útil?
Compartilhar

Leia a seguir

Oossa · Newsletter

A semana em IA, explicada

Toda segunda-feira: as notícias que valem a pena, em linguagem simples. Grátis, sem spam.