أصدر فريق ggml-org الإصدار b12345 من llama.cpp. ويضيف دعمًا لتنسيقي التكميم Q5_0 وQ5_1، وهما تنسيقان للضغط بدقة 5 بت قد يسرّعان الاستدلال. ويتضمن التحديث أيضًا نوى مخصصة لهذين التنسيقين على أجهزة Hexagon. كما تتوفر ملفات تنفيذية جاهزة لـmacOS بمعالجات Apple Silicon، وmacOS بمعالجات Intel، وiOS، وعدة إصدارات من Ubuntu، بما فيها إصدارات تعمل بالمعالج فقط وأخرى تستخدم Vulkan.
لماذا يهم
يمكن للمطورين تشغيل نماذج اللغة الكبيرة بسرعة أكبر على أجهزة محدودة الطاقة، ما يوسّع نطاق الأجهزة القادرة على استضافة نماذج ذكاء اصطناعي محلية.
