Bentaus, un NeoCloud che mette l’efficienza energetica al primo posto, ha collaborato con DriveNets per installare DriveNets AI Fabric su un cluster di GPU AMD Instinct MI325X. La soluzione congiunta utilizza il software di orchestrazione Ziani di Bentaus per regolare in tempo reale la potenza delle GPU. Secondo le aziende, la configurazione riduce del 30% l’energia consumata per token e mantiene il 97% del throughput dei token, con un calo della velocità di appena il 3%. L’architettura promette inoltre un throughput complessivo superiore di circa il 5% e un time to first token più rapido del 12% rispetto ai risultati disponibili pubblicamente.
Perché conta
Le aziende possono eseguire più carichi di lavoro di IA consumando meno elettricità, riducendo la pressione sulla rete nelle aree in cui la disponibilità di energia limita i data center.
