Oossa

Loud and Clear усиливает визуальные данные в RAG по документам

В статье на arXiv сообщается, что страницы в более высоком разрешении и релевантный OCR улучшили ответы на трёх тестах систем вопросно-ответного поиска по документам.

ЗаметкаАвтор: Опубликовано Oossa: 1 мин чтения

Исследователи представили Loud and Clear (LoC) — метод, который помогает системам ИИ использовать данные со страниц, найденных для ответа на вопросы по документам. Он сочетает изображения страниц в более высоком разрешении с текстом из областей, релевантных запросу, и не требует дополнительного обучения или эталонных разметок.

В описанных в статье тестах LoC превзошёл восемь прежних методов на трёх тестах, в том числе ColQwen3 — на 8.88 балла на SciEGQA. Авторы также выяснили, что увеличение бюджета визуальных токенов повышало точность, даже если нужные страницы уже были найдены.

Почему это важно

Для команд, разрабатывающих системы ответов на вопросы по документам, результаты показывают: улучшение способа представления найденных страниц модели может помочь даже тогда, когда поиск уже находит нужные страницы. При этом статья не доказывает, насколько хорошо LoC работает в реальных условиях.

Эта статья была полезной?
Поделиться

Читайте также

Oossa · Рассылка

Неделя ИИ — простыми словами

Каждый понедельник: главное за неделю понятным языком. Бесплатно, без спама.