Oossa

llama.cpp b12206 acelera la caché de MoE

El entorno de ejecución de LLM de código abierto publica binarios para macOS, iOS y varias versiones de Linux. La mejora en la caché de MoE evita que se frene el trabajo de la CPU.

BrevePor Publicado por Oossa: 1 min de lectura

ggml‑org publicó llama.cpp versión b12206. La actualización corrige la caché de MoE (mezcla de expertos) para que la CPU ya no tenga que esperar a que se carguen los expertos almacenados en caché. Ya están disponibles binarios precompilados para macOS con Apple Silicon, macOS con procesadores Intel, iOS y varias configuraciones de Ubuntu, incluidas x64, arm64 y s390x, con compatibilidad con Vulkan o zDNN.

Por qué importa

Los desarrolladores pueden ejecutar LLM más rápido en sus propios equipos, sin el cuello de botella que provocaba la caché de MoE anterior.

¿Te resultó útil este artículo?
Compartir

Sigue leyendo

Oossa · Boletín

La semana en IA, explicada

Cada lunes: las noticias que vale la pena conocer, en lenguaje sencillo. Gratis, sin spam.