Hanxin Zhang liderliğindeki araştırmacılar, her token bloğu için küçük bir Transformer’ı küresel bir Mamba‑3 bloğuyla birleştiren dil modeli tasarımı TurboMamba’yı tanıttı. Bu birleşim, üç hafif iyileştirme içeriyor: önceki bloğun son token’ına doğrudan erişim, küçük bir skor düzeltmesi ve yakın geçmişteki token frekanslarının öğrenilmiş bir karışımı. Herkese açık FineWeb‑Edu veri kümesinde yapılan testlerde TurboMamba, standart Transformer’lar ve Mamba‑3 türevleri de dahil olmak üzere on iki temel modeli hem hız hem doğruluk bakımından geride bıraktı.
Neden önemli
Araştırmacılar dil modellerini daha hızlı ve daha düşük maliyetle eğitip çalıştırabilir; bu da yeni yapay zekâ projelerinin önündeki maliyet engelini azaltır.
