Exa AI ha annunciato ATLAS, un benchmark che misura l’accuratezza e la completezza degli agenti IA che si affidano alla ricerca sul web. Comprende 547 attività di ricerca basate su esigenze di ricerca reali e anonimizzate. Il benchmark mostra che anche gli agenti più costosi non trovano circa un terzo dei risultati corretti e che nessun sistema con un costo inferiore a $1 per attività supera un punteggio row F1 di 0,5.
Perché conta
Gli sviluppatori possono usare ATLAS per individuare i motori di ricerca e le configurazioni degli agenti che offrono il miglior rapporto qualità-prezzo, così da realizzare strumenti di ricerca basati sull’IA più affidabili.
