Un utente di Reddit ha costruito un homelab in grado di eseguire il modello Kimi K3 di Moonshot AI, da 2.800 miliardi di parametri, usando solo una CPU Xeon Scalable di terza generazione a 40 core e moduli di memoria Intel Optane PMem 200 di seconda generazione, ormai fuori produzione. Non è stata utilizzata alcuna GPU. Con una quantizzazione a 1 bit, il sistema raggiunge circa 0,85 token al secondo, una velocità molto bassa. L’utente avverte che i moduli Optane si surriscaldano parecchio: servono quindi due ventole radiali da 12 watt per evitare che si surriscaldino e danneggino i moduli DRAM vicini.
Perché conta
Dimostra che è possibile eseguire modelli linguistici di grandi dimensioni senza una GPU, ma servono un raffreddamento potente e bisogna accettare velocità molto basse, che ne limitano l’uso pratico.
