Replit ha presentato ViBench 2.0, un benchmark che verifica se gli agenti di programmazione basati sull’IA sono in grado di creare un prodotto software da zero e mantenerlo funzionante man mano che si aggiungono nuove funzionalità. A differenza dei test di programmazione che assegnano all’agente un compito specifico all’interno di un codice già esistente, ViBench parte da un progetto vuoto e chiede di realizzare prodotti ispirati a strumenti come Uber, GitHub e Google Docs.
Il benchmark comprende 17 prodotti, 241 richieste di funzionalità e 544 piani di test. Nei risultati ufficiali ottenuti dal partner di Replit Fireworks, i modelli in testa — GPT-6.1 Sol, GPT-6 Astra e Opus 5.5 — hanno superato tutti i piani di test rispettivamente nel 65%, 60% e 49% dei progetti. Un progetto è considerato superato solo se supera tutti i piani previsti per quel prodotto.
Come funziona ViBench
Per prima cosa, un agente crea un prodotto a partire da una breve descrizione; poi aggiunge al proprio codice fino a 18 funzionalità. Questa sequenza può far emergere problemi che un singolo compito di programmazione non rileva: le scelte iniziali relative ai dati o alla struttura del software possono rendere più difficile implementare le richieste successive. I test verificano aspetti come il calcolo al centesimo delle quote di una corsa condivisa, il blocco dei rimborsi duplicati e la garanzia che un vecchio editor non sovrascriva una modifica più recente di un compagno di squadra.
Alla fine, un agente valutatore usa un browser reale per eseguire ciascun piano di test. Replit afferma di aver scelto Opus 5.5 come valutatore perché, tra i modelli testati, era quello che commetteva meno errori. In una verifica con 34 bug introdotti intenzionalmente, il valutatore non ha mai dato esito positivo a un piano quando un bug era visibile; GPT-6.1 Sol ha confermato il 99,2% dei 477 esiti positivi che ha esaminato.
Otto prodotti, con le relative richieste e i piani di test, sono disponibili pubblicamente su GitHub; gli altri nove non sono stati pubblicati. Replit afferma che è possibile ripetere i test con un solo comando, usando la versione v2.0.6 e la configurazione di test basata su OpenHands.
Cosa rivelano i punteggi
Il confronto ufficiale ha previsto quattro progetti per ciascun prodotto e modello, usando lo stesso sistema di test e le stesse impostazioni: livello di impegno medio e temperatura pari a 1.0. DeepSeek V4.1 Flash ha superato il 77% dei piani di test, con un costo di circa $2.50 per progetto, ma nessun modello open-weight ha superato tutti i piani in un progetto completo. GPT-6.1 Sol è costato circa $12 per progetto, mentre GPT-6 Astra è arrivato a circa $90. Opus 5.5 ha impiegato in media circa 70 minuti per progetto, risultando circa 2.5 volte più veloce di Sol.
Spesso i modelli migliori hanno superato la maggior parte dei singoli test, ma non sono riusciti a completare un intero progetto. Secondo Replit, quasi tre quarti dei progetti non superati presentavano problemi nel punto in cui le funzionalità interagivano tra loro. Tra gli esempi: la funzione di annullamento che modifica gli interventi di un compagno di squadra in uno strumento di progettazione e una bozza di pull request che non mostra un conflitto di merge. Il benchmark non valuta la resa visiva e, secondo Replit, i progetti dall’aspetto più curato non avevano maggiori probabilità di superare i test rispetto a quelli più essenziali.
Perché conta
Per i team che valutano l’uso di agenti di programmazione basati sull’IA, ViBench dimostra che superare compiti di programmazione isolati non garantisce che un prodotto continui a funzionare man mano che si accumulano nuove funzionalità: la maggior parte degli errori dei modelli migliori riguardava le interazioni tra funzionalità. I risultati possono aiutare i team a individuare questo tipo di debolezza, ma non indicano come si comporterebbero i modelli con il software o l’ambiente di sviluppo specifici di una determinata azienda.
