ggml-org publicó llama.cpp b12530 con una actualización para WebAssembly: corrigió los kernels de SIMD relajado y añadió compatibilidad con los formatos de modelo q3_K y q6_K. La página de la versión también incluye descargas para macOS, iOS y varios sistemas Linux.
La versión incluye compilaciones para CPU de Ubuntu x64, arm64 y s390x, entre otras. Las notas de la versión no indican cuánto afectan los cambios en WebAssembly a la velocidad.
Por qué importa
Los desarrolladores que compilan llama.cpp para WebAssembly pueden aprovechar la compatibilidad añadida con q3_K y q6_K, aunque las notas de la versión no cuantifican ningún cambio en el rendimiento.