Oossa

llama.cpp b11792 garde les données sur le GPU

Le moteur open source pour LLM propose de nouveaux binaires et une optimisation qui conserve les données plus longtemps sur le GPU.

BrèvePar Publié par Oossa: 1 min de lecture

L’équipe ggml‑org a publié llama.cpp version b11792 le 2026‑10‑21. Cette mise à jour modifie l’appel set_rows afin que les données puissent rester sur le GPU, ce qui améliore les performances pour les utilisateurs de GPU. Des binaires précompilés sont désormais disponibles pour macOS Apple Silicon, macOS Intel, iOS et plusieurs versions d’Ubuntu (CPU, Vulkan, CUDA 12.8). Les liens vers la version sont publiés sur la page du tag GitHub.

La modification est décrite ainsi dans les notes de version : « place d2t by its set_rows use so it can stay on the GPU (#30912) ».

Pourquoi c'est important

Les développeurs peuvent exécuter plus rapidement des modèles Llama sur les GPU compatibles, sans transferts de données supplémentaires.

Cet article vous a-t-il été utile ?
Partager

À lire ensuite

Oossa · Newsletter

La semaine de l'IA, expliquée

Chaque lundi : l'essentiel de l'actualité, en langage clair. Gratuit, sans spam.