Ein Forschungsteam unter der Leitung von Nabaraj Subedi untersuchte Retrieval-Augmented Generation (RAG) mit wachsenden Dokumentensammlungen. In einem System des Wyoming DOT sank die Precision@10 um 63 Prozent und der Recall des Dokuments mit der gesuchten Antwort um 23 Prozent, als der Korpus von 54 auf 1,128 Dokumente anwuchs. Die Studie schlägt eine Soft-Scoping-Technik vor, die den Abruf ohne zusätzliches Training auf relevante Bereiche beschränkt. Die Autoren empfehlen, zuerst Soft Scoping anzuwenden und anschließend einen einzigen Syntheseaufruf zu nutzen.
Warum es wichtig ist
Für Entwickler von RAG-basierten Chatbots gilt: Mehr Dokumente können die Antworten tatsächlich ungenauer machen, wenn die Suche nicht auf bestimmte Bereiche eingegrenzt wird.
