Um usuário do Reddit montou um homelab capaz de rodar o modelo Kimi K3, da Moonshot AI, com 2,8 trilhões de parâmetros, usando apenas uma CPU Xeon Scalable de 3ª geração e 40 núcleos e módulos de memória Intel Optane PMem 200 de 2ª geração, já descontinuados. Não há GPU no sistema. Com quantização de 1 bit, o sistema gera cerca de 0,85 token por segundo, um ritmo muito lento. O autor alerta que os módulos Optane esquentam muito; por isso, são necessárias duas ventoinhas tipo blower de 12 watts para evitar o superaquecimento e danos à memória DRAM próxima.
Por que importa
Mostra que é possível rodar modelos de linguagem gigantes sem GPU, mas isso exige refrigeração potente e a aceitação de velocidades muito baixas, o que limita o uso prático.
