I ricercatori hanno presentato OpenDS-World, un benchmark che verifica se gli agenti di IA sono in grado di cercare risposte sul web in tempo reale, usando motori di ricerca, interazioni con il browser e file in diversi formati. Il benchmark comprende 200 compiti; verifiche condotte da esseri umani confermano le prove a supporto delle risposte e che ogni compito abbia una risposta univoca.
Nella valutazione condotta dai ricercatori su 12 modelli, tutti testati con la stessa configurazione di strumenti, il risultato migliore è stato un’accuratezza del 39,0%. I valutatori umani hanno raggiunto il 21,1% in 1.000 tentativi. L’articolo segnala inoltre problemi persistenti nel coordinamento degli strumenti e nella gestione di ricerche prolungate; l’abstract fornito non indica quale sia il modello migliore.
Perché conta
Per chi sviluppa agenti capaci di fare ricerche sul web, OpenDS-World offre un banco di prova sul web in tempo reale. I risultati suggeriscono che questi compiti restano difficili, ma dall’abstract non si capisce come i punteggi si traducano nell’uso quotidiano.
