Oossa

llama.cpp b12549 corrige la gestion de l’attention d’Inkling2

La mise à jour ajoute à Inkling2 une entrée dédiée à l’attention à position relative et corrige la réutilisation des masques pour des modèles à mémoire hybride comme LFM2 et LFM3.

BrèvePar Publié par Oossa: 1 min de lecture

L’équipe ggml-org a publié llama.cpp b12549, qui corrige la gestion des masques d’attention pour Inkling2, un modèle pris en charge par le projet. La mise à jour ajoute une entrée dédiée à Inkling2, qui construit son masque d’attention dense et son biais de position relative à partir des mêmes cellules. Elle corrige également la construction des masques pour les modèles à mémoire hybride, qui empêchait la réutilisation du graphe avec un cache unifié et Flash Attention, notamment pour LFM2, LFM3 et Inkling2. La version permet aussi de régler à zéro le facteur d’échelle des poids d’experts et le plafonnement souple des logits finaux d’Inkling2.

Pourquoi c'est important

Pour les personnes qui exécutent ces modèles à mémoire hybride dans llama.cpp, les corrections résolvent un problème qui empêchait la réutilisation du graphe avec un cache unifié et Flash Attention. Les notes de version ne chiffrent aucun gain de vitesse.

Cet article vous a-t-il été utile ?
Partager

À lire ensuite

Oossa · Newsletter

La semaine de l'IA, expliquée

Chaque lundi : l'essentiel de l'actualité, en langage clair. Gratuit, sans spam.