Oossa

研究发现:文档集越大,RAG准确率越低

测试显示,加入更多异质文档会降低检索增强生成的表现,精确率下降63%。

简讯作者: Oossa 发布日期: 1 分钟阅读

Nabaraj Subedi领衔的研究团队考察了检索增强生成(RAG)在不断扩大的文档集上的表现。在怀俄明州交通部(Wyoming DOT)的一套系统中,语料库从54份文档扩充至1,128份后,precision@10下降了63%,包含答案的文档召回率也降低了23%。论文提出一种软范围限定技术,无需额外训练即可将检索限制在相关领域内。作者建议先应用软范围限定,再进行一次综合生成调用。

为什么重要

对开发基于RAG的聊天机器人的人来说,除非限定相关领域,否则增加文档反而可能让答案变得不那么准确。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。