A equipe ggml-org lançou a versão b11710 do llama.cpp, uma nova edição do software de código aberto para executar modelos de linguagem. A mudança listada adiciona ao CUDA — plataforma de computação para placas gráficas — a fusão de top-k para especialistas agrupados, além de incluir testes e um ajuste relacionado ao HIP.
A página da versão oferece downloads para vários sistemas, incluindo macOS, iOS e Linux. Não apresenta resultados de benchmarks nem informa quanto a mudança afeta a velocidade ou o uso de memória.
Por que importa
Desenvolvedores que usam CUDA com modelos de especialistas agrupados podem testar a nova implementação, mas as notas da versão não demonstram se ela melhora o desempenho na prática.
