Een team dat publiceert op arXiv introduceerde GEO Citation Ranker 4B, een klein model dat is getraind om te voorspellen welke pagina’s antwoordmachines zullen citeren. De onderzoekers testten scoringsmodellen op vragen uit GEO-Bench die door tien antwoordmachines werden beantwoord, waarbij elke machine dezelfde kandidaatbronnen kreeg.
Volgens de onderzoekers waren de resultaten van het 4B-model op 229 vragen statistisch niet te onderscheiden van die van grotere 27B-modellen of het gehoste model Jev. Ook maakten ze het model, de benchmark, de voorspellingen en de code openbaar.
Waarom het ertoe doet
Teams die onderzoeken hoe ze ervoor kunnen zorgen dat antwoordmachines hun pagina’s citeren, kunnen het vrijgegeven model en de benchmark uitproberen. De gerapporteerde resultaten tonen echter niet aan hoe goed het model citaties voorspelt buiten deze testopzet.
