Oossa

llama.cpp introduce il ridimensionamento per token negli esperti MoE

La libreria open source llama.cpp applica ora un ridimensionamento per token alle proiezioni down dei modelli MoE, migliorando il supporto al parallelismo tensoriale.

BreveDi Pubblicato da Oossa: 1 min di lettura

Il progetto ggml‑org/llama.cpp ha pubblicato una nuova versione il 2026-10-21. La versione sostituisce un unico fattore di ridimensionamento globale per le proiezioni down dei modelli mixture-of-experts (MoE) con un fattore applicato a ciascun token di ciascun esperto, usando una riduzione massima POOL_1D. La modifica aggiunge inoltre il supporto al parallelismo tensoriale, gestendo POOL_1D nella logica di suddivisione dello stato. L’aggiornamento include anche pulizie del codice e una struttura di ritorno del ridimensionamento riorganizzata.

Perché conta

Gli sviluppatori che usano modelli MoE possono ora ottenere un ridimensionamento più accurato per ogni token, con possibili miglioramenti delle prestazioni nelle configurazioni multi-GPU.

Questo articolo ti è stato utile?
Condividi

Leggi anche

Oossa · Newsletter

La settimana dell'IA, spiegata

Ogni lunedì: le notizie che contano, in parole semplici. Gratis, niente spam.