Oossa

llama.cpp adiciona novos formatos de quantização WebGPU na versão b11406

A biblioteca de código aberto llama.cpp agora oferece suporte a vários novos formatos de baixa precisão no WebGPU, além de binários para macOS, Linux e iOS.

NotaPor Publicado pelo Oossa: 1 min de leitura

A equipe ggml-org lançou a versão b11406 do llama.cpp. Ela adiciona suporte no WebGPU aos caminhos de quantização MMVQ Q1_0, Q5_0, Q5_1, Q3_K, Q5_K, Q6_K e MXFP4. A versão também disponibiliza binários pré-compilados para macOS (Apple Silicon e Intel), iOS e várias configurações do Ubuntu (CPU, Vulkan e CUDA).

Por que importa

Desenvolvedores agora podem executar mais LLMs com uso eficiente de memória em navegadores ou em GPUs compatíveis com WebGPU, ampliando as possibilidades de implantação do llama.cpp.

Este artigo foi útil?
Compartilhar

Leia a seguir

Oossa · Newsletter

A semana em IA, explicada

Toda segunda-feira: as notícias que valem a pena, em linguagem simples. Grátis, sem spam.