Oossa

llama.cpp ajoute une opération fusionnée de masque top-k dans b11800

La bibliothèque d’inférence open source intègre désormais une nouvelle opération fusionnée de masquage QSA, qui améliore les performances de certains modèles.

BrèvePar Publié par Oossa: 1 min de lecture

Le projet ggml-org llama.cpp a publié la version b11800 le 2026-10-21. Cette mise à jour ajoute une opération fusionnée de masque top-k (ggml_top_k_mask), utilisable par les modèles QSA, DSA et DeepSeek V4 CSA. Cette opération remplace le code de masquage écrit à la main par un seul nœud qui attribue la valeur –inf aux cellules non sélectionnées. Elle fonctionne par tête et prend en charge des scores facultatifs, des tailles de bloc et des cellules supplémentaires.

Pourquoi c'est important

Les développeurs peuvent exécuter plus rapidement les modèles pris en charge, car la bibliothèque effectue désormais le masquage en une seule étape optimisée.

Cet article vous a-t-il été utile ?
Partager

À lire ensuite

Oossa · Newsletter

La semaine de l'IA, expliquée

Chaque lundi : l'essentiel de l'actualité, en langage clair. Gratuit, sans spam.