L’équipe ggml‑org a publié llama.cpp version b12345. Cette version ajoute la prise en charge des quantifications Q5_0 et Q5_1, une compression sur 5 bits qui peut accélérer l’inférence. La mise à jour comprend également des noyaux dédiés à ces formats sur les appareils Hexagon. Des binaires précompilés sont proposés pour les Mac Apple Silicon, les Mac Intel, iOS et plusieurs versions d’Ubuntu, dont des variantes réservées au CPU et compatibles avec Vulkan.
Pourquoi c'est important
Les développeurs peuvent exécuter des LLM plus rapidement sur du matériel peu énergivore, ce qui élargit la gamme d’appareils capables d’héberger des modèles d’IA en local.
