Bentaus, een NeoCloud die energie-efficiëntie vooropstelt, werkt met DriveNets aan de inzet van DriveNets AI Fabric op een cluster met AMD Instinct MI325X-GPU’s. De gezamenlijke oplossing gebruikt de orkestratiesoftware Ziani van Bentaus om het GPU-vermogen in realtime aan te passen. Volgens de bedrijven verlaagt deze opstelling het energieverbruik per token met 30%, terwijl 97% van de tokendoorvoer behouden blijft: een snelheidsverlies van slechts 3%. De architectuur zou bovendien ongeveer 5% meer totale doorvoer en een 12% kortere tijd tot de eerste token opleveren dan de openbaar beschikbare resultaten.
Waarom het ertoe doet
Bedrijven kunnen meer AI-werk uitvoeren met minder elektriciteit. Dat verlicht de druk op het elektriciteitsnet in regio’s waar datacenters te maken hebben met beperkingen in de stroomvoorziening.
