Forskare under ledning av Hanxin Zhang presenterade TurboMamba, en språkmodellarkitektur som kombinerar ett globalt Mamba-3-block med en liten Transformer för varje tokenblock. Kombinationen innehåller tre mindre justeringar: direkt åtkomst till det sista tokenet i föregående block, en liten korrigering av poängsättningen och en inlärd blandning av frekvenser för nyligen förekommande token. Tester på den offentliga datamängden FineWeb-Edu visar att TurboMamba presterar bättre än tolv baslinjemodeller, däribland standardmodeller av typen Transformer och varianter av Mamba-3, både när det gäller hastighet och noggrannhet.
Varför det spelar roll
Forskare kan träna och köra språkmodeller snabbare och billigare, vilket sänker kostnadströskeln för nya AI-projekt.
