Uma equipe que publicou um estudo no arXiv apresentou o GEO Citation Ranker 4B, um modelo pequeno treinado para prever quais páginas serão citadas por mecanismos de resposta. Os pesquisadores testaram sistemas de pontuação com consultas do GEO-Bench respondidas por dez mecanismos, todos com acesso às mesmas fontes candidatas.
Segundo os pesquisadores, os resultados do modelo 4B não foram estatisticamente diferentes dos obtidos por modelos maiores, de 27B, ou pelo modelo hospedado Jev, em 229 consultas. Eles também disponibilizaram o modelo, o benchmark, as previsões e o código.
Por que importa
Equipes que estudam como fazer com que mecanismos de resposta citem páginas podem experimentar o modelo e o benchmark disponibilizados. No entanto, os resultados relatados não demonstram o quanto o modelo prevê citações fora das condições desse teste.
