Bentaus, una NeoCloud que prioriza la eficiencia energética, se asoció con DriveNets para implementar DriveNets AI Fabric en un clúster de GPU AMD Instinct MI325X. La solución conjunta usa el software de orquestación Ziani de Bentaus para ajustar en tiempo real el consumo de energía de las GPU. Según las empresas, la configuración reduce un 30% la energía por token y mantiene el 97% del rendimiento en tokens, lo que supone una pérdida de velocidad de solo el 3%. La arquitectura también promete alrededor de un 5% más de rendimiento general y un tiempo hasta el primer token un 12% más rápido que los resultados disponibles públicamente.
Por qué importa
Las empresas pueden ejecutar más cargas de trabajo de IA con menos electricidad, lo que alivia la presión sobre la red eléctrica en regiones donde la capacidad para los centros de datos es limitada.
