Un team che ha pubblicato uno studio su arXiv ha presentato GEO Citation Ranker 4B, un modello di piccole dimensioni addestrato a prevedere quali pagine saranno citate dai motori di risposta. I ricercatori hanno testato diversi sistemi di valutazione su domande di GEO-Bench a cui hanno risposto dieci motori, tutti con le stesse fonti candidate.
I ricercatori riferiscono che, su 229 domande, i risultati del modello 4B non erano statisticamente distinguibili da quelli dei modelli 27B più grandi o del modello ospitato Jev. Hanno inoltre pubblicato il modello, il benchmark, le previsioni e il codice.
Perché conta
I team che studiano come far citare le proprie pagine dai motori di risposta possono provare il modello e il benchmark pubblicati; i risultati riportati, tuttavia, non dimostrano quanto il modello sia efficace nel prevedere le citazioni al di fuori di questa configurazione di test.
