Een Reddit-gebruiker bouwde een homelab waarop Moonshot AI’s Kimi K3-model met 2,8 biljoen parameters draait, met alleen een Xeon Scalable-CPU van de derde generatie met 40 cores en niet meer verkrijgbare Intel Optane PMem 200-geheugenmodules van de tweede generatie. Er komt geen GPU aan te pas. Het systeem haalt met 1-bit-kwantisering ongeveer 0,85 tokens per seconde, wat erg langzaam is. De bouwer waarschuwt dat de Optane-modules extreem heet worden. Daarom zijn twee blowerfans van 12 watt nodig om oververhitting en schade aan nabijgelegen DRAM te voorkomen.
Waarom het ertoe doet
Dit laat zien dat enorme taalmodellen zonder GPU kunnen draaien, maar alleen met krachtige koeling en bij zeer lage snelheden, waardoor ze in de praktijk beperkt bruikbaar zijn.
