Bentaus, eine auf Energieeffizienz ausgerichtete NeoCloud, hat gemeinsam mit DriveNets die DriveNets AI Fabric auf einem Cluster mit AMD Instinct MI325X-GPUs eingeführt. Die gemeinsame Lösung nutzt Bentaus’ Orchestrierungssoftware Ziani, um die GPU-Leistung in Echtzeit anzupassen. Nach Angaben der Unternehmen senkt die Konfiguration den Energieverbrauch je Token um 30 Prozent und hält 97 Prozent des Token-Durchsatzes aufrecht – der Geschwindigkeitsverlust beträgt demnach nur 3 Prozent. Die Architektur soll außerdem im Vergleich zu öffentlich verfügbaren Ergebnissen einen rund 5 Prozent höheren Gesamtdurchsatz und eine um 12 Prozent kürzere Zeit bis zum ersten Token ermöglichen.
Warum es wichtig ist
Unternehmen können mit weniger Strom mehr KI-Aufgaben ausführen. Das entlastet Stromnetze in Regionen, in denen die Stromversorgung von Rechenzentren begrenzt ist.
