Oossa

تشغيل نموذج ذكاء اصطناعي بـ2.8 تريليون مُعامل عبر Optane والمعالج فقط

استخدم أحد أعضاء Reddit وحدات Intel Optane PMem 200 من الجيل الثاني ومعالج Xeon بـ40 نواة لتشغيل نموذج Kimi K3 من Moonshot AI، مع الحاجة إلى تبريد قوي.

خبر موجزبقلم نشرته Oossa: 1 دقائق قراءة

أنشأ أحد مستخدمي Reddit مختبرًا منزليًا يشغّل نموذج Kimi K3 من Moonshot AI، الذي يضم 2.8 تريليون مُعامل، باستخدام معالج Xeon Scalable من الجيل الثالث بـ40 نواة وشرائح ذاكرة Intel Optane PMem 200 من الجيل الثاني، التي أُوقف إنتاجها. ولا يستخدم النظام أي بطاقة رسومات. ويولّد نحو 0.85 رمزًا في الثانية مع تكميم بدقة 1 بت، وهي سرعة بطيئة جدًا. ويحذّر صاحب الجهاز من أن وحدات Optane ترتفع حرارتها بشدة، ما يستلزم مروحتَي نفخ بقدرة 12 واط لكل منهما لمنع سخونتها المفرطة وإتلاف وحدات DRAM المجاورة.

لماذا يهم

يوضح أن تشغيل نماذج لغوية ضخمة ممكن من دون بطاقة رسومات، لكن ذلك يتطلب تبريدًا قويًا وقبول سرعة منخفضة جدًا، ما يحدّ من جدوى الاستخدام العملي.

هل كان هذا المقال مفيدًا؟
مشاركة

اقرأ أيضًا

Oossa · النشرة البريدية

أسبوع الذكاء الاصطناعي، مشروحًا

كل يوم اثنين: الأخبار التي تستحق المعرفة، بلغة بسيطة. مجانًا وبلا رسائل مزعجة.