Hugging Face выпустила ProvenanceGuard — средство проверки ответов после генерации для агентов на базе Model Context Protocol (MCP). Оно сохраняет идентификаторы результатов работы инструментов, сопоставляет каждое утверждение с его истинным источником и блокирует ответы, в которых факты приписаны не тому источнику. В медицинском тестировании на 281 трассе работы агентов люди-рецензенты отметили 139 ошибочных атрибуций; ProvenanceGuard выявила 138 из них и правильно определила источник в 86% случаев.
Почему это важно
Проверка того, что каждое утверждение подтверждается правильным источником, помогает предотвратить распространение вводящей в заблуждение информации в чувствительных областях, таких как здравоохранение и финансы.
