نسخه جدید llama.cpp از قابلیت topk_mask در بک‌اند OpenCL پشتیبانی می‌کند و برای چندین پلتفرم نسخه قابل‌دانلود دارد.
خبر کوتاهنویسنده: Oossaمنتشرشده توسط Oossa: 1 دقیقه مطالعه
تیم ggml-org نسخه llama.cpp b12052 را منتشر کرده است؛ نرم‌افزاری که برای اجرای مدل‌های زبانی به کار می‌رود. تغییر برجسته این نسخه، افزودن قابلیت «topk_mask» به OpenCL است؛ چارچوبی برای اجرای محاسبات روی سخت‌افزارهای مختلف. صفحه انتشار همچنین نسخه‌هایی برای macOS، iOS و چندین سیستم لینوکس فهرست کرده است.
کسانی که llama.cpp را با OpenCL اجرا می‌کنند، ممکن است بتوانند از ماسک‌گذاری top-k استفاده کنند؛ بااین‌حال، یادداشت‌های انتشار مشخص نمی‌کنند کدام مدل‌ها یا وظایف از آن سود می‌برند.
مدل‌ها
وزنهای این مدل 753 میلیاردپارامتری با مجوز MIT در دسترس است. Deep Principle از بهبود عملکرد در چند آزمون علمی خبر میدهد، اما دادههای کامل آموزش و دستورالعمل آن را منتشر نکرده است.
مدل‌ها
در ارزیابی GDPx، کلاد اپوس ۵٫۵ امتیاز بالاتری گرفت؛ اما هزینهی اجرای هر وظیفه با مدل گوگل کمتر از یکسوم آن بود.
مدل‌ها
این پروژه با همکاری گوگل و متا به توسعهدهندگان امکان میدهد با تغییرات محدود در کد، بارهای کاری PyTorch را روی تراشههای گوگل اجرا کنند؛ در کنار ابزارهایی مانند vLLM و Hugging Face.
Oossa · خبرنامه
هفتهٔ هوش مصنوعی، به زبان ساده
هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.
