Oossa

llama.cpp b12530 ganha suporte a SIMD no WebAssembly

A versão atualiza os kernels de WebAssembly do llama.cpp e acrescenta suporte aos formatos q3_K e q6_K. Também oferece downloads para várias plataformas.

NotaPor Publicado pelo Oossa: 1 min de leitura

A ggml-org lançou o llama.cpp b12530 com uma atualização para WebAssembly: corrigiu os kernels de SIMD relaxado e acrescentou suporte aos formatos de modelo q3_K e q6_K. A página da versão também lista downloads para macOS, iOS e vários sistemas Linux.

A versão inclui compilações para CPU do Ubuntu x64, arm64 e s390x, entre outras. As notas da versão não informam quanto as mudanças no WebAssembly afetam a velocidade.

Por que importa

Desenvolvedores que compilam o llama.cpp para WebAssembly podem aproveitar o suporte adicionado a q3_K e q6_K, embora as notas da versão não quantifiquem qualquer mudança no desempenho.

Este artigo foi útil?
Compartilhar

Leia a seguir

Oossa · Newsletter

A semana em IA, explicada

Toda segunda-feira: as notícias que valem a pena, em linguagem simples. Grátis, sem spam.