Ein Reddit-Nutzer hat ein Homelab gebaut, auf dem Moonshot AIs Modell Kimi K3 mit 2,8 Billionen Parametern läuft – allein mit einer Xeon-Scalable-CPU der dritten Generation mit 40 Kernen und nicht mehr erhältlichen Intel-Optane-PMem-200-Speichermodulen der zweiten Generation. Eine GPU kommt nicht zum Einsatz. Mit 1-Bit-Quantisierung erreicht das System etwa 0,85 Tokens pro Sekunde – ein sehr langsames Tempo. Der Bastler warnt, dass die Optane-Module extrem heiß werden. Zwei Radiallüfter mit jeweils 12 Watt seien daher nötig, damit sie nicht überhitzen und benachbarten DRAM beschädigen.
Warum es wichtig ist
Das Beispiel zeigt, dass sich große Sprachmodelle auch ohne GPU ausführen lassen – allerdings nur mit aufwendiger Kühlung und sehr geringer Geschwindigkeit, was den praktischen Einsatz einschränkt.
