エネルギー効率を重視するNeoCloudのBentausはDriveNetsと提携し、AMD Instinct MI325X GPUのクラスターにDriveNets AI Fabricを導入した。このソリューションでは、Bentausのオーケストレーションソフトウェア「Ziani」を使い、GPUの電力をリアルタイムで調整する。両社によると、この構成ではトークン当たりのエネルギー消費を30%削減しつつ、トークン処理量の97%を維持できる。つまり、速度の低下は3%にとどまるという。また、公開されている結果と比べ、システム全体の処理量が約5%増え、最初のトークンが出力されるまでの時間も12%短縮したとしている。
なぜ重要か
企業は電力消費を抑えながら、より多くのAI処理を実行できる。データセンターの電力が制約されている地域では、電力網への負荷軽減にもつながる。
