Un usuario de Reddit montó un homelab capaz de ejecutar el modelo Kimi K3, de Moonshot AI y 2,8 billones de parámetros, usando únicamente una CPU Xeon Scalable de tercera generación y 40 núcleos, junto con módulos de memoria Intel Optane PMem 200 de segunda generación, ya descatalogados. No utiliza ninguna GPU. El sistema genera alrededor de 0,85 tokens por segundo con cuantización de 1 bit, una velocidad muy baja. El usuario advierte que los módulos Optane se calientan muchísimo, por lo que hacen falta dos ventiladores tipo blower de 12 vatios para evitar que se sobrecalienten y dañen la DRAM cercana.
Por qué importa
Demuestra que es posible ejecutar modelos de lenguaje enormes sin GPU, pero solo con una refrigeración potente y aceptando velocidades muy bajas, lo que limita su uso práctico.
