Googleは、Geminiが画面を占有せずにMacアプリを操作し、デスクトップでの作業を完了できるようになったと発表した。「Computer Use」と呼ばれるこの機能はGeminiのMacアプリに搭載され、独立したバックグラウンドウィンドウで動作する。チャットで目的を伝えると、Geminiがローカルファイルやデスクトップソフト、ウェブサイトを操作し、クリックや入力、フォームへの記入を行う。作業中もメイン画面とカーソルは自由に使えるため、入力やデザイン、通話を続けられる。
各操作のプレビューはチャット画面にリアルタイムで表示され、Geminiの作業を確認できる。AIにアクセスを許可するアプリも選べ、いつでも処理を一時停止できる。また、重要な操作を実行する前にはユーザーの承認が必要だ。Googleによると、提供は本日、米国のユーザーを対象に英語で始まる。GeminiのMacアプリはgemini.google/macからダウンロードできる。
現時点でできること
Googleが挙げる活用例には、デザインツールで複数の写真の色調をまとめて調整する、複雑な3Dシーンを設定する、PDFから寸法を抜き出して配送見積もりフォームに入力する、ダッシュボードの指標を集めてGoogle Slidesの資料を作成するといったものがある。また、Geminiを使って商品の再販売用リストを作成することもできる。衣類の写真を分析し、価格を調べ、マーケットプレイスのサイトに出品情報を登録する。
TechCrunchによると、OpenAI、Anthropic、Metaなどが同様のエージェント機能を数カ月前から提供しているため、今回の動きでGoogleはやや出遅れる形となった。今週初めに発表されたGoogleのより広範な「Tasks」機能では、すでにGeminiがサイトにログインし、商品の購入や予約を行える。新しいComputer Useは、そこにMacのネイティブアプリを直接操作する機能を加える。
利用を始めるには
Computer Useを利用するには、Mac向けGeminiアプリとGoogle AI Plus、Pro、またはUltraのサブスクリプションが必要だ。現時点では英語と米国に限定されており、Googleは他の地域やプラットフォームへの展開時期を明らかにしていない。
なぜ重要か
Macで繰り返し作業に時間を取られている人にとって、Geminiにクリックや入力を任せることで、より重要な仕事に集中できる。また、AIが何をしているかを逐一確認できるため、操作やプライバシーを管理しやすい。一方、利用できるのは有料のGoogle AIプランに加入した米国の英語ユーザーに限られており、Googleが提供地域を広げるにつれて活用の幅も広がる。