TurboMamba acelera o treinamento e a inferência e melhora as previsões

Pesquisadores liderados por Hanxin Zhang apresentaram o TurboMamba, uma arquitetura de modelo de linguagem que combina um bloco global Mamba‑3 com um pequeno Transformer para cada bloco de tokens. A combinação acrescenta três ajustes simples: acesso direto ao último token do bloco anterior, uma pequena correção de pontuação e uma mistura aprendida das frequências dos tokens recentes. Testes no conjunto de dados público FineWeb‑Edu mostram que o TurboMamba supera doze modelos de referência — incluindo Transformers padrão e variantes do Mamba‑3 — tanto em velocidade quanto em precisão.