L’équipe ggml-org a publié llama.cpp b12052, une nouvelle version du logiciel permettant d’exécuter des modèles de langage. La principale nouveauté mise en avant est l’ajout de « topk_mask » pour OpenCL, un framework qui permet d’effectuer des calculs sur différents matériels. La page de la version propose également des compilations pour macOS, iOS et plusieurs systèmes Linux.
Pourquoi c'est important
Les personnes qui utilisent llama.cpp avec OpenCL pourraient bénéficier du masquage top-k, mais les notes de version ne précisent pas quels modèles ou tâches en tirent parti.
