پژوهشگران به سرپرستی Hanxin Zhang، TurboMamba را معرفی کردند؛ معماری‌ای برای مدل‌های زبانی که یک بلوک سراسری Mamba‑3 را با یک ترنسفورمر کوچک برای هر بلوک توکن ترکیب می‌کند. این ترکیب سه بهبود کم‌هزینه دارد: دسترسی مستقیم به آخرین توکن بلوک قبلی، اصلاح جزئی امتیاز و ترکیبی یادگرفتنی از بسامد توکن‌های اخیر. آزمایش‌ها روی مجموعه‌داده عمومی FineWeb‑Edu نشان می‌دهد TurboMamba از دوازده مدل پایه، از جمله ترنسفورمرهای استاندارد و گونه‌های Mamba‑3، هم از نظر سرعت و هم دقت بهتر عمل می‌کند.
چرا مهم است
پژوهشگران می‌توانند مدل‌های زبانی را سریع‌تر و با هزینه کمتر آموزش دهند و اجرا کنند و به این ترتیب، مانع هزینه‌ای پیش روی پروژه‌های تازه هوش مصنوعی را کاهش دهند.
