L’équipe ggml-org a publié llama.cpp b12549, qui corrige la gestion des masques d’attention pour Inkling2, un modèle pris en charge par le projet. La mise à jour ajoute une entrée dédiée à Inkling2, qui construit son masque d’attention dense et son biais de position relative à partir des mêmes cellules. Elle corrige également la construction des masques pour les modèles à mémoire hybride, qui empêchait la réutilisation du graphe avec un cache unifié et Flash Attention, notamment pour LFM2, LFM3 et Inkling2. La version permet aussi de régler à zéro le facteur d’échelle des poids d’experts et le plafonnement souple des logits finaux d’Inkling2.
Pourquoi c'est important
Pour les personnes qui exécutent ces modèles à mémoire hybride dans llama.cpp, les corrections résolvent un problème qui empêchait la réutilisation du graphe avec un cache unifié et Flash Attention. Les notes de version ne chiffrent aucun gain de vitesse.