Oossa

Bentaus借助DriveNets网络架构降低30%的AI令牌能耗

这家NeoCloud在DriveNets AI Fabric上运行AMD MI325X GPU,节省电力的同时保留97%的令牌吞吐量。

简讯作者: Oossa 发布日期: 1 分钟阅读

以能源效率为先的NeoCloud服务商Bentaus与DriveNets合作,在一组AMD Instinct MI325X GPU上部署DriveNets AI Fabric。该联合方案使用Bentaus的Ziani编排软件,实时调节GPU功耗。据两家公司称,这套系统可将每个令牌的能耗降低30%,同时保持97%的令牌吞吐量,也就是说速度仅损失3%。与公开可查的数据相比,该架构还声称整体吞吐量提高约5%,首个令牌生成时间缩短12%。

为什么重要

企业可以用更少的电力运行更多AI任务,缓解数据中心电力受限地区的电网压力。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。