Oossa

llama.cpp adota escala por token para especialistas em modelos MoE

A biblioteca de código aberto llama.cpp agora aplica escala às projeções descendentes de MoE por token, aprimorando o suporte ao paralelismo de tensores.

NotaPor Publicado pelo Oossa: 1 min de leitura

O projeto ggml‑org/llama.cpp lançou uma nova versão em 2026-10-21. A atualização substitui um único fator de escala global para as projeções descendentes de mistura de especialistas (MoE) por um fator aplicado a cada token de cada especialista, usando uma redução máxima POOL_1D. A mudança também acrescenta suporte ao paralelismo de tensores, tratando POOL_1D na lógica de divisão de estado. A atualização inclui limpeza de código e uma estrutura refatorada para o retorno da escala.

Por que importa

Desenvolvedores que executam modelos MoE agora podem obter uma escala mais precisa para cada token, o que pode melhorar o desempenho em configurações com várias GPUs.

Este artigo foi útil?
Compartilhar

Leia a seguir

Oossa · Newsletter

A semana em IA, explicada

Toda segunda-feira: as notícias que valem a pena, em linguagem simples. Grátis, sem spam.