Forskare under ledning av Nabaraj Subedi undersökte retrieval-augmented generation (RAG) med växande dokumentsamlingar. I ett system hos Wyoming DOT sjönk precision@10 med 63 % när korpusen utökades från 54 till 1,128 dokument, och återkallningen av dokumentet med svaret minskade med 23 %. I artikeln föreslås en teknik för mjuk avgränsning som begränsar sökningen till relevanta områden utan extra träning. Författarna rekommenderar att man först använder mjuk avgränsning och sedan gör ett enda syntessamtal.
Varför det spelar roll
För utvecklare av RAG-baserade chattbottar kan fler dokument faktiskt göra svaren mindre träffsäkra, om man inte avgränsar sökningen till relevanta områden.
