Oossa

llama.cpp añade kernels OpenCL para cargas de lotes pequeños

La biblioteca de inferencia Llama de código abierto incorpora varias versiones optimizadas de GEMM en OpenCL para ejecutar lotes pequeños y amplía la compatibilidad con las GPU Snapdragon.

BrevePor Publicado por Oossa: 1 min de lectura

El proyecto ggml‑org/llama.cpp publicó una actualización (b11763) el 2026‑10‑21. Añade varios kernels OpenCL que aceleran las multiplicaciones de matrices con lotes pequeños, entre ellos q4_k dp4a GEMM y una variante limitada de mul_mm_f16_f32. Los cambios también corrigen un error de lectura fuera de límites y eliminan una protección innecesaria que activaba la alternativa de ejecución en la CPU. La biblioteca ya funciona en muchas plataformas, desde Apple Silicon en macOS hasta CUDA en Windows y Vulkan en Linux, y ahora ofrece mejor compatibilidad con las CPU Snapdragon, las GPU Adreno y las NPU Hexagon.

Por qué importa

Los desarrolladores pueden ejecutar modelos Llama más rápido en dispositivos Android con chips Snapdragon, lo que hace más práctico usar IA directamente en el dispositivo.

¿Te resultó útil este artículo?
Compartir

Sigue leyendo

Oossa · Boletín

La semana en IA, explicada

Cada lunes: las noticias que vale la pena conocer, en lenguaje sencillo. Gratis, sin spam.