A ggml-org lançou o llama.cpp b12530 com uma atualização para WebAssembly: corrigiu os kernels de SIMD relaxado e acrescentou suporte aos formatos de modelo q3_K e q6_K. A página da versão também lista downloads para macOS, iOS e vários sistemas Linux.
A versão inclui compilações para CPU do Ubuntu x64, arm64 e s390x, entre outras. As notas da versão não informam quanto as mudanças no WebAssembly afetam a velocidade.
Por que importa
Desenvolvedores que compilam o llama.cpp para WebAssembly podem aproveitar o suporte adicionado a q3_K e q6_K, embora as notas da versão não quantifiquem qualquer mudança no desempenho.