پروژه llama.cpp تغییری در کرنل GPU منتشر کرده که مسیر سریعی برای اندازه حالت 64 اضافه می‌کند. Zamba2 و تراشه‌های مشابه از این اندازه استفاده می‌کنند و پیش از این تغییر، هر مرحله اسکن به CPU واگذار می‌شد و سرعت تولید را به حدود 6‑7 توکن در ثانیه محدود می‌کرد. قالب جدید توان عملیاتی را حدود 35٪ افزایش می‌دهد و سرعت Zamba2‑7B‑Instruct را روی همان سخت‌افزار از 11 به 15.1 توکن در ثانیه می‌رساند. برخی فراخوانی‌های اسکن (حدود 28٪) همچنان روی CPU اجرا می‌شوند؛ بنابراین هنوز به برابری کامل نرسیده‌ایم.
چرا مهم است
توسعه‌دهندگانی که از GPUهای Zamba2 استفاده می‌کنند، می‌توانند بدون نیاز به سخت‌افزار اضافه، متن را به‌طور محسوسی سریع‌تر تولید کنند.
