Googleの開発者向けブログの発表によると、Tensor Processing Unit（TPU）と呼ばれるGoogle独自開発のAIチップが、Metaの本番環境でAIワークロードを処理している。Tom’s Hardwareが報じた。今回の構成では、AIモデルの実行や応答生成に使われるソフトウェア「SGLang」のPyTorchネイティブ版を利用している。Googleは、広く使われている別の推論エンジン「vLLM」のPyTorchネイティブ版も発表した。
これによりMetaは、従来のようにGoogleのJAXフレームワークに頼らず、Metaが開発したAIフレームワーク「PyTorch」でGoogleのチップを利用できる。Googleによると、新しいバージョンでは、開発者はソフトウェアを書き直す作業をほとんどせずにTPUを使える。記事の見出しでは、Googleが初めて外部顧客にTPUを販売したとも伝えているが、提供された記事には顧客名も販売の詳細も記載されていない。
JAXに頼らない選択肢
チップが開発者にとって役立つのは、使っているツールがそのチップに対応している場合に限られるため、ソフトウェアの連携は重要だ。これまでSGLangとvLLMは、JAXを通じてGoogleのTPU上で動作していた。PyTorchネイティブ版により、すでにPyTorchを使っているチームにもTPUが選択肢となり、AIワークロードをTPU搭載ハードウェアに移す際の作業を減らせる可能性がある。
Googleによると、vLLM版はオープンソースだ。SGLang版も同じライセンスやアクセス条件なのか、また開発者がいずれかのバージョンをどう入手できるのかは、記事では説明されていない。Metaが何台のTPUを使っているのか、どのモデルを動かしているのか、構成の性能がどの程度なのかについても、数値は示されていない。
ユーザーにとって何が変わる？
確認できる変更は、MetaがデータセンターでAIワークロードを実行する手段がもう一つ増えたことだ。エンジニアが利用できるハードウェアの選択肢は広がる可能性があるが、Meta製品の速度や品質、利用可能性がユーザーにとって変わることを示す根拠は記事にない。また、本番環境で稼働しているという説明を除けば、今回の導入がテストなのか、より広範な展開なのかも明らかにされていない。
なぜ重要か
MetaのAIエンジニアは、SGLangとvLLMのPyTorchネイティブ版を使い、これらのエンジンをJAXに頼らずGoogleのTPU上で動かせるようになった。Metaにとってハードウェアの選択肢が増える一方、Meta製品を使う人が速度や機能の違いを感じるかどうかは、記事からは分からない。
