Googleは、TPUの高帯域幅メモリー、ホストRAM、ストレージ、ネットワーク間でキー・バリュー（KV）キャッシュやモデルの重みを移動させるオープンソースのC++ライブラリ「TPU Sync」を公開した。同社によると、2350億〜4800億パラメーターのMixture of Experts（MoE）モデルで、KVキャッシュの転送遅延を90％超削減できるという。
なぜ重要か
開発者はTPU上で大規模言語モデルの状態をより速く更新でき、推論やファインチューニング時の停止時間を短縮できる。
Google、KVキャッシュ転送を高速化するTPU Syncを公開
Googleの新しいオープンソースC++ライブラリは、大規模なMoEモデルでKVキャッシュの転送遅延を90％超削減する。
短信著者： OossaOossa公開日: 1 分で読める
次に読む
モデル
OpenAI、Proユーザー向けにChatGPT Walletを導入 AIエージェントが買い物
新機能ChatGPT Walletでは、米国のProユーザーに代わり、AIエージェント「dots」がトークン化されたカード情報で商品を購入できる。
モデル
MetaのMuse、有料ユーザーに代わって米企業へ電話
ケーブル会社やDMV、レストランに電話できるAIエージェント。ただし、合成音声だと気づいて電話を切る企業も多い。
モデル
Google、より高速で低価格なAIモデル「Gemini 4 Hydrogen」を発表
新モデルのGemini 4 Hydrogenは、大型モデルのArgonを速度、コスト、複数のベンチマークで上回り、世界中の開発者と一般ユーザーに提供を開始した。
Oossa · ニュースレター
今週のAIを、わかりやすく
毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。