Oossa

llama.cpp ajoute des noyaux OpenCL pour les petits lots

La bibliothèque open source d’inférence Llama intègre désormais plusieurs variantes GEMM OpenCL optimisées pour les traitements à faible batch, étendant la prise en charge des GPU Snapdragon.

BrèvePar Publié par Oossa: 1 min de lecture

Le projet ggml‑org/llama.cpp a publié une mise à jour (b11763) le 2026‑10‑21. Elle ajoute plusieurs noyaux OpenCL qui accélèrent les multiplications de matrices pour les petits lots, notamment q4_k dp4a GEMM et une variante étroite de mul_mm_f16_f32. Ces changements corrigent également un bug de lecture hors limites et suppriment une protection inutile qui déclenchait un repli vers le CPU. La bibliothèque fonctionne déjà sur de nombreuses plateformes, de macOS sur Apple Silicon à Windows avec CUDA et Linux avec Vulkan, et prend désormais mieux en charge les processeurs Snapdragon, les GPU Adreno et les NPU Hexagon.

Pourquoi c'est important

Les développeurs peuvent exécuter plus rapidement des modèles Llama sur des appareils Android équipés de puces Snapdragon, ce qui rend l’IA embarquée plus pratique.

Cet article vous a-t-il été utile ?
Partager

À lire ensuite

Oossa · Newsletter

La semaine de l'IA, expliquée

Chaque lundi : l'essentiel de l'actualité, en langage clair. Gratuit, sans spam.