Onderzoekers onder leiding van Hanxin Zhang introduceerden TurboMamba, een ontwerp voor taalmodellen dat een wereldwijd Mamba-3-blok combineert met een kleine Transformer voor elk tokenblok. De combinatie voegt drie lichte aanpassingen toe: directe toegang tot het laatste token van het vorige blok, een kleine correctie van de score en een aangeleerde mix van de frequenties van recente tokens. Tests op de openbare dataset FineWeb-Edu laten zien dat TurboMamba beter presteert dan twaalf basismodellen, waaronder standaard Transformers en varianten van Mamba-3, zowel qua snelheid als nauwkeurigheid.
Waarom het ertoe doet
Onderzoekers kunnen taalmodellen sneller en goedkoper trainen en uitvoeren, waardoor de drempelkosten voor nieuwe AI-projecten dalen.
