Oossa

llama.cpp ajoute la prise en charge de GQA et de nouveaux tokenizers

La bibliothèque open source llama.cpp prend désormais en charge les modèles GQA non standard et un tokenizer BPE, avec davantage de versions pour différentes plateformes.

BrèvePar Publié par Oossa: 1 min de lecture

L’équipe ggml-org a publié la version b11819 de llama.cpp le 2026-10-22. Cette mise à jour ajoute la prise en charge des modèles GQA (attention à requêtes groupées) non standard et d’un tokenizer BPE (encodage par paires d’octets), ainsi qu’un nouveau prétype domyn-small. Elle ajoute également la gestion des métadonnées pour les schémas de préfixe Metaspace. La matrice de compilation répertorie désormais de nombreuses cibles CPU et GPU, notamment Apple Silicon, CUDA 12/13, Vulkan, ROCm et Android Snapdragon.

Pourquoi c'est important

Les développeurs peuvent désormais exécuter une plus grande variété de LLM, notamment ceux utilisant GQA, sur davantage d’appareils, comme les smartphones et les GPU.

Cet article vous a-t-il été utile ?
Partager

À lire ensuite

Oossa · Newsletter

La semaine de l'IA, expliquée

Chaque lundi : l'essentiel de l'actualité, en langage clair. Gratuit, sans spam.