Пользователь Reddit собрал домашний сервер, который запускает модель Kimi K3 от Moonshot AI с 2,8 трлн параметров — только на 40-ядерном процессоре Xeon Scalable третьего поколения и снятых с производства модулях памяти Intel Optane PMem 200 второго поколения. Видеокарты в системе нет. При 1-битной квантизации она выдаёт около 0,85 токена в секунду — это очень медленно. По словам автора сборки, модули Optane сильно нагреваются, поэтому их пришлось охлаждать двумя вентиляторами-турбинами мощностью 12 Вт каждый. Иначе они могут перегреться и повредить расположенные рядом модули DRAM.
Почему это важно
Этот пример показывает, что запускать огромные языковые модели можно и без GPU, но для этого требуется мощное охлаждение, а скорость остаётся очень низкой — поэтому практическое применение ограничено.
