Bentaus, un NeoCloud qui privilégie l’efficacité énergétique, s’est associé à DriveNets pour déployer DriveNets AI Fabric sur un cluster de GPU AMD Instinct MI325X. La solution conjointe utilise le logiciel d’orchestration Ziani de Bentaus pour ajuster en temps réel la puissance des GPU. Selon les deux entreprises, cette configuration réduit de 30 % l’énergie consommée par token tout en conservant 97 % du débit de tokens, soit une baisse de vitesse de seulement 3 %. L’architecture affiche aussi un débit global environ 5 % supérieur et un délai jusqu’au premier token réduit de 12 % par rapport aux résultats accessibles au public.
Pourquoi c'est important
Les entreprises peuvent exécuter davantage de tâches d’IA en consommant moins d’électricité, ce qui allège la pression sur le réseau dans les régions où l’alimentation des centres de données est limitée.
