Oossa

llama.cpp b12530 añade compatibilidad con SIMD en WebAssembly

La versión actualiza los kernels de WebAssembly de llama.cpp y añade compatibilidad con los formatos q3_K y q6_K. También ofrece compilaciones descargables para varias plataformas.

BrevePor Publicado por Oossa: 1 min de lectura

ggml-org publicó llama.cpp b12530 con una actualización para WebAssembly: corrigió los kernels de SIMD relajado y añadió compatibilidad con los formatos de modelo q3_K y q6_K. La página de la versión también incluye descargas para macOS, iOS y varios sistemas Linux.

La versión incluye compilaciones para CPU de Ubuntu x64, arm64 y s390x, entre otras. Las notas de la versión no indican cuánto afectan los cambios en WebAssembly a la velocidad.

Por qué importa

Los desarrolladores que compilan llama.cpp para WebAssembly pueden aprovechar la compatibilidad añadida con q3_K y q6_K, aunque las notas de la versión no cuantifican ningún cambio en el rendimiento.

¿Te resultó útil este artículo?
Compartir

Sigue leyendo

Oossa · Boletín

La semana en IA, explicada

Cada lunes: las noticias que vale la pena conocer, en lenguaje sencillo. Gratis, sin spam.