Onderzoekers onder leiding van Nabaraj Subedi onderzochten retrieval-augmented generation (RAG) bij groeiende documentverzamelingen. In een systeem van het Wyoming Department of Transportation (DOT) daalde de precision@10 met 63% en nam de kans dat het document met het antwoord werd teruggevonden met 23% af toen het corpus groeide van 54 naar 1,128 documenten. De paper stelt een techniek voor, soft scoping, die het zoeken beperkt tot relevante domeinen zonder extra training. De auteurs raden aan eerst soft scoping toe te passen en daarna één syntheseaanroep te gebruiken.
Waarom het ertoe doet
Voor ontwikkelaars van chatbots op basis van RAG kunnen extra documenten antwoorden juist minder nauwkeurig maken, tenzij het zoekdomein wordt afgebakend.
