Oossa

llama.cpp incorpora kernels OpenCL DP4A para modelos cuantizados

La biblioteca de inferencia de LLaMA de código abierto ahora admite operaciones GEMM DP4A con cooperative-k para los formatos q4_0, q4_k y q6_k.

BrevePor Publicado por Oossa: 1 min de lectura

El proyecto ggml‑org/llama.cpp publicó la versión b11741 el 2026‑10‑19. Incorpora nuevos kernels OpenCL que utilizan instrucciones DP4A para acelerar las multiplicaciones de matrices en tres formatos cuantizados (q4_0, q4_k y q6_k). La actualización también corrige un problema de alineación e incluye binarios precompilados para macOS (Apple Silicon e Intel) y varias versiones de Ubuntu, incluidas compilaciones con Vulkan.

Por qué importa

Los desarrolladores pueden ejecutar modelos LLaMA más rápido en GPU compatibles con OpenCL, lo que hace más práctico ejecutar inferencias localmente.

¿Te resultó útil este artículo?
Compartir

Sigue leyendo

Oossa · Boletín

La semana en IA, explicada

Cada lunes: las noticias que vale la pena conocer, en lenguaje sencillo. Gratis, sin spam.