Oossa

llama.cpp b11555 corrige suporte a CPU e traz novos binários

A biblioteca de inferência Llama de código aberto chega à versão b11555, corrigindo o suporte a F16C em CPUs AVX2 e disponibilizando novas compilações para macOS, iOS e Linux.

NotaPor Publicado pelo Oossa: 1 min de leitura

A ggml-org lançou a versão b11555 do llama.cpp. A atualização corrige um erro que fazia CPUs AVX2 não usarem o conjunto de instruções F16C, mesmo quando ele estava disponível. A versão também traz novos pacotes binários para macOS Apple Silicon, macOS Intel, iOS e várias configurações do Ubuntu, incluindo suporte a Vulkan e CUDA 12.8.

Por que importa

Desenvolvedores que executam modelos Llama em CPUs compatíveis terão inferência mais rápida, sem precisar aplicar correções manualmente.

Este artigo foi útil?
Compartilhar

Leia a seguir

Oossa · Newsletter

A semana em IA, explicada

Toda segunda-feira: as notícias que valem a pena, em linguagem simples. Grátis, sem spam.