Reddit用户用Optane内存和CPU运行2.8万亿参数AI模型

一位Reddit用户搭建了一套家庭实验室系统，仅靠一颗40核第三代Xeon Scalable CPU和已停产的第二代Intel Optane PMem 200内存条，就运行起Moonshot AI拥有2.8万亿参数的Kimi K3模型。整个系统没有使用GPU。采用1位量化时，系统的生成速度约为每秒0.85个token，十分缓慢。搭建者提醒，Optane模块会变得非常烫，因此需要两台12瓦鼓风机散热，以免模块过热并损坏附近的DRAM。