Un utilisateur de Reddit a assemblé un homelab capable de faire tourner le modèle Kimi K3 de Moonshot AI, qui compte 2 800 milliards de paramètres, uniquement avec un processeur Xeon Scalable de 3e génération à 40 cœurs et des barrettes de mémoire Intel Optane PMem 200 de 2e génération, désormais abandonnées. Aucun GPU n’est utilisé. Le système produit environ 0,85 jeton par seconde avec une quantification sur 1 bit, ce qui est très lent. L’utilisateur prévient que les modules Optane chauffent énormément : deux ventilateurs soufflants de 12 watts sont donc nécessaires pour éviter leur surchauffe et protéger la DRAM voisine.
Pourquoi c'est important
Cela montre qu’il est possible de faire tourner de très grands modèles de langage sans GPU, mais qu’il faut un refroidissement puissant et accepter des vitesses très faibles, ce qui limite leur usage pratique.
