Oossa

llama.cpp suma nuevos formatos de cuantización WebGPU en b11406

La biblioteca de código abierto llama.cpp ya admite varios formatos de baja precisión en WebGPU y ofrece binarios para macOS, Linux e iOS.

BrevePor Publicado por Oossa: 1 min de lectura

El equipo de ggml‑org publicó la versión b11406 de llama.cpp. Esta incorpora compatibilidad con las rutas de cuantización MMVQ en WebGPU para Q1_0, Q5_0, Q5_1, Q3_K, Q5_K, Q6_K y MXFP4. La versión también incluye binarios precompilados para macOS (Apple Silicon e Intel), iOS y varias compilaciones de Ubuntu (CPU, Vulkan y CUDA).

Por qué importa

Los desarrolladores ahora pueden ejecutar modelos de lenguaje grandes que consumen menos memoria en navegadores o GPU compatibles con WebGPU, lo que amplía las posibilidades de despliegue de llama.cpp.

¿Te resultó útil este artículo?
Compartir

Sigue leyendo

Oossa · Boletín

La semana en IA, explicada

Cada lunes: las noticias que vale la pena conocer, en lenguaje sencillo. Gratis, sin spam.