Oossa

llama.cpp escala cada token por experto en modelos MoE

La biblioteca de código abierto llama.cpp ahora escala las proyecciones descendentes de MoE para cada token y mejora la compatibilidad con el paralelismo de tensores.

BrevePor Publicado por Oossa: 1 min de lectura

El proyecto ggml‑org/llama.cpp publicó una nueva versión el 2026-10-21. La actualización sustituye un único factor de escala global para las proyecciones descendentes de mezcla de expertos (MoE) por un factor aplicado a cada token de cada experto, mediante una reducción máxima POOL_1D. También añade compatibilidad con el paralelismo de tensores al gestionar POOL_1D en la lógica de estado dividido. La actualización incluye limpiezas de código y una estructura de retorno de escala refactorizada.

Por qué importa

Quienes ejecutan modelos MoE pueden obtener un escalado más preciso para cada token, lo que podría mejorar el rendimiento en configuraciones con varias GPU.

¿Te resultó útil este artículo?
Compartir

Sigue leyendo

Oossa · Boletín

La semana en IA, explicada

Cada lunes: las noticias que vale la pena conocer, en lenguaje sencillo. Gratis, sin spam.