Pesquisadores liderados por Nabaraj Subedi analisaram o desempenho da geração aumentada por recuperação (RAG) em conjuntos de documentos cada vez maiores. Em um sistema do Departamento de Transportes de Wyoming (Wyoming DOT), a ampliação do acervo de 54 para 1,128 documentos reduziu em 63% a precisão@10 e diminuiu em 23% a recuperação do documento que continha a resposta. O artigo propõe uma técnica de delimitação flexível, que restringe a busca a domínios relevantes sem treinamento adicional. Os autores recomendam aplicar essa delimitação primeiro e, depois, fazer uma única chamada de síntese.
Por que importa
Para quem desenvolve chatbots baseados em RAG, adicionar mais documentos pode, na verdade, tornar as respostas menos precisas se não houver delimitação por domínio.
