A nova versão do llama.cpp oferece suporte a topk_mask no backend OpenCL e disponibiliza builds para várias plataformas.
NotaPor OossaPublicado pelo Oossa: 1 min de leitura
A equipe ggml-org lançou o llama.cpp b12052, uma nova versão do software usado para executar modelos de linguagem. A principal novidade é a adição de “topk_mask” ao OpenCL, uma estrutura para executar cálculos em diferentes tipos de hardware. A página de lançamento também lista builds para macOS, iOS e vários sistemas Linux.
Quem usa o llama.cpp com OpenCL poderá usar a máscara top-k, embora as notas de lançamento não indiquem quais modelos ou tarefas podem se beneficiar.
Modelos
Os pesos do modelo, com 753 bilhões de parâmetros, estão disponíveis sob a Licença MIT. A Deep Principle relata avanços em vários testes científicos, mas não divulgou todos os dados nem o método usados no treinamento.
Modelos
O projeto de Google e Meta permite executar cargas de trabalho do PyTorch nos chips do Google com poucas mudanças no código, junto de ferramentas como vLLM e Hugging Face.
Modelos
A partir de dezembro, usuários dos planos Plus, Pro e Business terão um único orçamento de tokens para o ChatGPT e o Codex. Conversas com modelos Instant não entram na conta.
Oossa · Newsletter
A semana em IA, explicada
Toda segunda-feira: as notícias que valem a pena, em linguagem simples. Grátis, sem spam.
