GEAR, le laboratoire de recherche de Nvidia, a publié en open source Flora, un système qui ajoute trois types d’annotations aux vidéos de robots : l’action en cours, la qualité d’exécution de chaque étape et la réussite ou non de la tâche dans son ensemble. Nvidia affirme que l’outil peut annoter une heure de vidéo pour environ 72 cents, contre près de 88,50 $ avec GPT‑6 Astra d’OpenAI. Cette estimation repose sur un tarif de location de 10 $ par heure et par GPU.
Flora repose sur trois modèles Qwen 3.5 affinés. Un modèle de 9 milliards de paramètres découpe les vidéos en séquences d’actions. Un modèle de 27 milliards de paramètres rédige des légendes en tenant compte des actions environnantes, tandis qu’un second modèle de 27 milliards de paramètres, baptisé Flora‑Rewarder, évalue la réussite, classe les étapes une par une et attribue des notes selon une grille. Nvidia indique que le système annote déjà jusqu’à 200 000 heures de vidéo par jour sur une ferme de 512 GPU GB300. Les modèles sont disponibles sur Hugging Face.
Comment Flora se compare aux autres grands modèles de langage
Dans son propre test portant sur 50 vidéos de robots, Nvidia indique que Flora a obtenu un score de qualité d’annotation de 57,1 % pour 0,72 $ par heure, contre 53,7 % pour GPT‑6 Astra à 88,49 $ par heure. Claude Opus 5 coûtait moins cher qu’Astra, à environ 42 $ par heure, mais ses performances étaient nettement moins bonnes. Sur le benchmark public WGO‑Bench, Flora s’est distingué pour repérer les limites entre les actions, mais a été moins performant qu’Astra et Gemini 3.8 Flash pour décrire les vidéos dans leur ensemble. Sur DenseCaptionBench de Nvidia, Flora est arrivé en tête pour les vidéos d’humains, mais deuxième derrière Astra pour celles de robots.
Pourquoi le coût et les capacités de Flora comptent pour les développeurs en robotique
L’annotation de grands jeux de vidéos constitue un frein à l’entraînement des modèles de commande des robots. En réduisant le coût de l’annotation à l’heure, Flora pourrait permettre aux petits laboratoires et aux jeunes pousses de constituer des jeux de données d’entraînement plus importants sans recourir à des services commerciaux comme Physical AI Data Engine de Scale AI. La publication en open source permet aussi aux développeurs de conserver leur chaîne de traitement des données dans l’écosystème matériel de Nvidia, ce qui pourrait stimuler les achats de GPU de l’entreprise.
Pourquoi c'est important
Pour les équipes de robotique, réduire le coût de l’annotation permet d’entraîner plus rapidement des modèles plus performants sur des jeux de données plus vastes, sans disposer de budgets colossaux. L’open source permet aux chercheurs de personnaliser la chaîne de traitement, mais les coûts avancés reposent sur les hypothèses tarifaires internes de Nvidia : les dépenses réelles peuvent donc varier.
