Oossa

اجرای مدل هوش مصنوعی ۲.۸ تریلیون‌پارامتری روی CPU با حافظه Optane

یکی از کاربران Reddit با ماژول‌های Intel Optane PMem 200 نسل دوم و پردازنده Xeon چهل‌هسته‌ای، مدل Kimi K3 شرکت Moonshot AI را اجرا کرد؛ اما به خنک‌کاری قدرتمندی نیاز داشت.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

یکی از کاربران Reddit یک هوم‌لب ساخت که مدل Kimi K3 شرکت Moonshot AI با ۲.۸ تریلیون پارامتر را تنها با پردازنده ۴۰ هسته‌ای Xeon Scalable نسل سوم و ماژول‌های حافظه Intel Optane PMem 200 نسل دومِ از رده خارج‌شده اجرا می‌کند. در این سیستم از هیچ GPUای استفاده نمی‌شود. خروجی سیستم با کوانتیزه‌سازی ۱‌بیتی حدود ۰.۸۵ توکن در ثانیه است که بسیار کند محسوب می‌شود. سازنده هشدار می‌دهد ماژول‌های Optane به‌شدت داغ می‌شوند؛ بنابراین برای جلوگیری از داغ‌شدن بیش از حد آن‌ها و آسیب‌دیدن DRAMهای مجاور، به دو فن دمنده ۱۲ واتی نیاز است.

چرا مهم است

این نمونه نشان می‌دهد می‌توان مدل‌های زبانی عظیم را بدون GPU اجرا کرد، اما این کار به خنک‌کاری سنگین نیاز دارد و سرعت بسیار پایین، استفاده عملی از آن را محدود می‌کند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.