Bentaus, en NeoCloud-tjänst med fokus på energieffektivitet, har samarbetat med DriveNets för att installera DriveNets AI Fabric i ett kluster med AMD Instinct MI325X-GPU:er. Den gemensamma lösningen använder Bentaus Ziani-programvara för orkestrering för att justera GPU-effekten i realtid. Enligt företagen minskar lösningen energianvändningen per token med 30 % och behåller 97 % av tokenkapaciteten, vilket innebär att hastigheten bara sjunker med 3 %. Arkitekturen uppges också ge omkring 5 % högre total kapacitet och 12 % kortare tid till den första tokenen jämfört med offentligt tillgängliga resultat.
Varför det spelar roll
Företag kan köra fler AI-arbetslaster med mindre el, vilket minskar belastningen på elnäten i regioner där datacenter begränsas av tillgången på ström.
