A biblioteca de código aberto llama.cpp passa a usar quatro colunas de estado GDN por warp CUDA, melhorando o desempenho na GPU.
NotaPor OossaPublicado pelo Oossa: 1 min de leitura
A equipe ggml-org lançou a versão b11494 do llama.cpp. A atualização altera o backend CUDA para atribuir quatro colunas de estado GDN a cada warp, em vez de duas. Essa configuração passa a ser o padrão. Estão disponíveis para download binários para macOS (Apple Silicon e Intel), iOS e várias versões do Ubuntu.
Desenvolvedores que usam llama.cpp em GPUs NVIDIA podem esperar uma inferência mais rápida sem precisar alterar o código.
Modelos
O novo sistema de revisão da empresa, baseado em três agentes Claude, identificou 73.43% dos erros nas alegações centrais, muito acima do melhor resultado anterior, de 14.81%.
Modelos
Usuários gratuitos ficam apenas com o Flash-Lite; assinantes do AI Plus perdem o Pro e mantêm o Flash. Os preços no Brasil começam em R$ 24,99.
Modelos
O novo modelo da Mistral, com um trilhão de parâmetros, marcou 38 em um índice independente, mas custa mais por tarefa do que modelos abertos concorrentes.
Oossa · Newsletter
A semana em IA, explicada
Toda segunda-feira: as notícias que valem a pena, em linguagem simples. Grátis, sem spam.
