以能源效率为先的NeoCloud服务商Bentaus与DriveNets合作,在一组AMD Instinct MI325X GPU上部署DriveNets AI Fabric。该联合方案使用Bentaus的Ziani编排软件,实时调节GPU功耗。据两家公司称,这套系统可将每个令牌的能耗降低30%,同时保持97%的令牌吞吐量,也就是说速度仅损失3%。与公开可查的数据相比,该架构还声称整体吞吐量提高约5%,首个令牌生成时间缩短12%。
为什么重要
企业可以用更少的电力运行更多AI任务,缓解数据中心电力受限地区的电网压力。