# ViBench 2.0 teste la capacité des IA à créer des produits complets

> Ce benchmark demande à des agents de programmation de créer des produits en ajoutant les fonctionnalités une à une. Même les meilleurs modèles n’ont réussi tous les tests que dans 49 à 65 % des projets.

Oossa · 2026-10-28 · https://oossa.com/fr/replit-s-vibench-2-0-tests-whether-ai-can-build-full-products

Replit a lancé ViBench 2.0, un benchmark qui évalue la capacité des agents de programmation dotés d’IA à créer un produit logiciel de toutes pièces et à le faire fonctionner à mesure que de nouvelles fonctionnalités sont ajoutées. Contrairement aux tests de programmation qui confient à un agent une tâche précise dans un code existant, ViBench part d’un projet vierge et lui demande de créer des produits inspirés d’outils comme Uber, GitHub et Google Docs.

Le benchmark comprend 17 produits, 241 demandes de fonctionnalités et 544 plans de test. Dans les résultats officiels réalisés par Fireworks, partenaire de Replit, les modèles les mieux classés — GPT-6.1 Sol, GPT-6 Astra et Opus 5.5 — ont réussi tous les plans de test dans respectivement 65 %, 60 % et 49 % des projets. Un projet n’est considéré comme réussi que s’il passe tous les plans de test associés au produit.

## Comment fonctionne ViBench

Un agent crée d’abord un produit à partir d’une brève description, puis ajoute jusqu’à 18 fonctionnalités à son propre code. Cette séquence peut mettre au jour des problèmes qu’une tâche de programmation ponctuelle ne révèle pas : les choix initiaux concernant les données ou la structure du logiciel peuvent compliquer la mise en œuvre de demandes ultérieures. Les tests portent notamment sur la précision au centime près du partage des frais d’une course, la prévention des remboursements en double et la garantie qu’un ancien éditeur n’écrase pas les modifications plus récentes d’un collègue.

À la fin, un agent évaluateur utilise un navigateur réel pour exécuter chaque plan de test. Replit indique avoir choisi Opus 5.5 comme évaluateur, car c’est le modèle testé qui a commis le moins d’erreurs. Lors d’un contrôle portant sur 34 bogues introduits volontairement, l’évaluateur n’a jamais validé un plan lorsqu’un bogue était visible ; GPT-6.1 Sol a confirmé 99,2 % des 477 validations qu’il a examinées.

Huit produits, avec leurs demandes et leurs plans de test, sont accessibles sur GitHub ; les neuf autres ne sont pas publiés. Replit précise que les résultats peuvent être reproduits en une seule commande avec la version v2.0.6 et son dispositif de test basé sur OpenHands.

## Ce que montrent les scores

La comparaison officielle a porté sur quatre projets par produit et par modèle, avec le même environnement et les mêmes paramètres : un niveau d’effort moyen et une température de 1.0. DeepSeek V4.1 Flash a réussi 77 % des plans de test pour un coût d’environ $2.50 par projet, mais aucun modèle à poids ouverts n’a réussi tous les plans d’un projet complet. GPT-6.1 Sol a coûté environ $12 par projet, contre environ $90 pour GPT-6 Astra. Opus 5.5 a mis environ 70 minutes par projet en moyenne, soit environ 2.5 fois moins de temps que Sol.

Les meilleurs modèles ont souvent réussi la plupart des tests pris individuellement, sans pour autant mener un projet complet à bien. Selon Replit, près des trois quarts de leurs échecs sont survenus à l’intersection de plusieurs fonctionnalités. Parmi les exemples : la fonction d’annulation qui modifie le travail d’un collègue dans un outil de conception, ou une demande de fusion préliminaire qui n’affiche pas de conflit. Le benchmark n’évalue pas la qualité visuelle ; Replit indique que les projets à l’apparence soignée n’avaient pas plus de chances de réussir que les plus sobres.

## Les faits

- ViBench 2.0 couvre 17 produits, 241 demandes de fonctionnalités et 544 plans de test.
- Dans les résultats officiels de Fireworks, GPT-6.1 Sol affiche un taux de réussite pass@1 de 65 %, contre 60 % pour GPT-6 Astra et 49 % pour Opus 5.5.
- DeepSeek V4.1 Flash a réussi 77 % des plans de test pour un coût estimé d’environ $2.50 par projet, mais aucun modèle à poids ouverts n’a réussi un projet complet.
- Huit des 17 produits et leurs plans de test sont accessibles sur GitHub.

## Pourquoi c'est important

Pour les équipes qui envisagent d’utiliser des agents de programmation dotés d’IA, ViBench montre que réussir des tâches de programmation isolées ne garantit pas qu’un produit continuera de fonctionner à mesure que les fonctionnalités s’accumulent : la plupart des échecs des meilleurs modèles impliquaient des interactions entre fonctionnalités. Ces résultats peuvent aider les équipes à repérer ce type de faiblesse, mais ils ne permettent pas de savoir comment les modèles se comporteraient avec le logiciel ou l’environnement de développement d’une entreprise en particulier.

## Sources et références

1. [ViBench 2.0: A Benchmark for Long-Horizon Software Building](https://replit.com/blog/vibench-2-long-horizon-software-benchmark) – Replit, 2026-10-28

Dernière mise à jour: 2026-10-28