Bentaus, NeoCloud с упором на энергоэффективность, вместе с DriveNets развернула DriveNets AI Fabric на кластере GPU AMD Instinct MI325X. Совместное решение использует ПО для оркестрации Ziani от Bentaus, которое регулирует мощность GPU в реальном времени. По данным компаний, такая конфигурация снижает энергозатраты на токен на 30%, сохраняя 97% пропускной способности — то есть скорость падает всего на 3%. Кроме того, архитектура, как утверждается, обеспечивает примерно на 5% более высокую общую пропускную способность и сокращает время до первого токена на 12% по сравнению с общедоступными результатами.
Почему это важно
Компании смогут выполнять больше задач ИИ при меньших затратах электроэнергии, снижая нагрузку на энергосети в регионах с ограниченными ресурсами для дата-центров.
