Google a annoncé que Gemini peut désormais utiliser des applications Mac et effectuer des tâches sur ordinateur sans prendre le contrôle de votre écran. Baptisée Computer Use, cette fonction est intégrée à l’app Gemini pour Mac et s’exécute dans une fenêtre d’arrière-plan isolée. Il suffit de décrire un objectif dans le chat : Gemini clique, saisit du texte et remplit des formulaires dans des fichiers locaux, des logiciels de bureau et des sites web. Pendant ce temps, l’écran principal et le curseur restent libres pour vous permettre de continuer à écrire, à créer ou à prendre des appels.
Un aperçu en direct de chaque étape s’affiche dans le fil de discussion, ce qui vous permet de suivre les actions de Gemini en temps réel. Vous choisissez également les apps auxquelles l’IA peut accéder, pouvez interrompre le processus à tout moment et devez approuver les actions importantes avant leur exécution. Google indique que le déploiement commence aujourd’hui, en anglais, aux États-Unis. L’app Gemini pour Mac est téléchargeable sur gemini.google/mac.
Ce que la fonction permet déjà de faire
Parmi les exemples donnés par Google : appliquer en série un étalonnage des couleurs à des photos dans un outil de création, préparer des scènes 3D complexes, extraire les dimensions de PDF pour remplir des devis d’expédition et récupérer des indicateurs de tableaux de bord pour créer une présentation Google Slides. L’entreprise évoque aussi la mise en vente d’articles d’occasion avec Gemini : l’IA peut analyser des photos de vêtements, rechercher les prix et préparer des annonces sur des sites de vente.
TechCrunch relève que Google accuse un léger retard sur des concurrents comme OpenAI, Anthropic et Meta, qui proposent des fonctionnalités similaires d’agent IA depuis plusieurs mois. La fonction « Tasks » de Google, annoncée plus tôt cette semaine, permet déjà à Gemini de se connecter à des sites, d’effectuer des achats et de prendre des rendez-vous. Computer Use ajoute à cet ensemble le contrôle direct des applications Mac natives.
Comment commencer
Pour utiliser Computer Use, il faut l’app Gemini pour Mac et un abonnement Google AI Plus, Pro ou Ultra. Pour l’instant, la fonction est réservée aux États-Unis et à l’anglais ; Google n’a pas annoncé de date d’extension à d’autres régions ou plateformes.
Pourquoi c'est important
Pour les personnes qui consacrent du temps à des tâches répétitives sur Mac, Gemini peut automatiser les clics et la saisie afin de leur permettre de se concentrer sur des tâches plus importantes. La fonction permet aussi de voir précisément ce que fait l’IA, et donc de garder le contrôle et de préserver la confidentialité. Elle est réservée aux utilisateurs anglophones des États-Unis disposant d’un abonnement Google AI payant ; son utilité augmentera à mesure que Google l’étendra.