Oossa

llama.cpp incorpora una operación de máscara top-k fusionada en b11800

La biblioteca de inferencia de código abierto añade una nueva operación fusionada para aplicar máscaras QSA, que mejora el rendimiento en ciertos modelos.

BrevePor Publicado por Oossa: 1 min de lectura

El proyecto ggml-org llama.cpp publicó la versión b11800 el 2026-10-21. La actualización añade una operación de máscara top-k fusionada (ggml_top_k_mask), que pueden usar los modelos QSA, DSA y CSA de DeepSeek V4. La operación sustituye el código de enmascaramiento escrito a mano por un único nodo que asigna –inf a las celdas no seleccionadas. Funciona por cabeza y admite puntuaciones opcionales, tamaños de bloque y celdas adicionales.

Por qué importa

Los desarrolladores pueden ejecutar más rápido los modelos compatibles porque la biblioteca ahora aplica la máscara en un solo paso optimizado.

¿Te resultó útil este artículo?
Compartir

Sigue leyendo

Oossa · Boletín

La semana en IA, explicada

Cada lunes: las noticias que vale la pena conocer, en lenguaje sencillo. Gratis, sin spam.