Optaneメモリ搭載のCPUで、2.8兆パラメーターのAIモデルを実行

Redditユーザーが、40コアの第3世代Xeon Scalable CPUと、生産終了となった第2世代Intel Optane PMem 200メモリモジュールだけで、Moonshot AIの2.8兆パラメーターのモデル「Kimi K3」を動かすホームラボを構築した。GPUは使っていない。1ビット量子化での処理速度は約0.85トークン/秒と、非常に遅い。構築したユーザーによると、Optaneモジュールは極めて高温になるため、過熱による故障や近くのDRAMへの損傷を防ぐには、12ワットのブロワーファンを2基使う必要がある。