A Bentaus, uma NeoCloud que prioriza a eficiência energética, fez parceria com a DriveNets para implantar a DriveNets AI Fabric em um cluster de GPUs AMD Instinct MI325X. A solução conjunta usa o software de orquestração Ziani, da Bentaus, para ajustar a potência das GPUs em tempo real. Segundo as empresas, a configuração reduz em 30% o consumo de energia por token e mantém 97% da taxa de processamento de tokens, o que representa uma perda de apenas 3% na velocidade. A arquitetura também promete um aumento de cerca de 5% na taxa geral de processamento e um tempo até o primeiro token 12% menor em comparação com resultados disponíveis publicamente.
Por que importa
As empresas podem executar mais tarefas de IA consumindo menos eletricidade, reduzindo a pressão sobre a rede elétrica em regiões onde a capacidade energética limita os centros de dados.
