En Reddit-användare byggde en homelab-dator som kör Moonshot AI:s Kimi K3-modell med 2,8 biljoner parametrar, enbart med en Xeon Scalable-processor av tredje generationen med 40 kärnor och utgångna Intel Optane PMem 200-minnesmoduler av andra generationen. Något grafikkort används inte. Systemet levererar cirka 0,85 token per sekund med 1-bitars kvantisering, vilket är mycket långsamt. Byggaren varnar för att Optane-modulerna blir extremt varma. Därför krävs två radialfläktar på 12 watt för att hindra dem från att överhettas och skada närliggande DRAM.
Varför det spelar roll
Visar att det går att köra mycket stora språkmodeller utan grafikkort, men bara med kraftig kylning och mycket låg hastighet, vilket begränsar den praktiska användningen.
