یکی از کاربران Reddit یک هوملب ساخت که مدل Kimi K3 شرکت Moonshot AI با ۲.۸ تریلیون پارامتر را تنها با پردازنده ۴۰ هستهای Xeon Scalable نسل سوم و ماژولهای حافظه Intel Optane PMem 200 نسل دومِ از رده خارجشده اجرا میکند. در این سیستم از هیچ GPUای استفاده نمیشود. خروجی سیستم با کوانتیزهسازی ۱بیتی حدود ۰.۸۵ توکن در ثانیه است که بسیار کند محسوب میشود. سازنده هشدار میدهد ماژولهای Optane بهشدت داغ میشوند؛ بنابراین برای جلوگیری از داغشدن بیش از حد آنها و آسیبدیدن DRAMهای مجاور، به دو فن دمنده ۱۲ واتی نیاز است.
چرا مهم است
این نمونه نشان میدهد میتوان مدلهای زبانی عظیم را بدون GPU اجرا کرد، اما این کار به خنککاری سنگین نیاز دارد و سرعت بسیار پایین، استفاده عملی از آن را محدود میکند.