تیم ggml-org نسخه b12202 از llama.cpp را منتشر کرد. این نسخه پشتیبانی از دقت BF16 (ممیز شناور ۱۶ بیتی مخصوص یادگیری ماشین) را در ضرب‌های ماتریسی کلیدی اضافه می‌کند. این تغییر با پیاده‌سازی مرجع هم‌خوان است و اکنون در CUDA، Vulkan، OpenCL، Hexagon و بک‌اندهای دیگر پذیرفته شده است. آزمون‌های flash-attention نیز اکنون در کنار حالت F32 موجود، با BF16 اجرا می‌شوند.
چرا مهم است
توسعه‌دهندگان می‌توانند مدل‌های LLaMA را روی سخت‌افزاری که از BF16 پشتیبانی بهتری دارد، مانند GPUهای جدیدتر، سریع‌تر اجرا کنند.
