Oossa

ProvenanceGuard controleert bronnen van AI-agenten

De nieuwe laag van Hugging Face controleert of elke bewering van een agent wordt ondersteund door de bron waarnaar die verwijst. Zo spoort het systeem verkeerde bronvermeldingen op, onder meer in de medische sector.

Kort berichtOossa1 min lezen

Hugging Face heeft ProvenanceGuard uitgebracht, een controlelaag die antwoorden van agents met Model Context Protocol (MCP) achteraf controleert. De tool bewaart de ID’s van tooluitvoer, koppelt elke bewering aan de juiste bron en blokkeert antwoorden waarin feiten aan de verkeerde bron worden toegeschreven. In een medische test met 281 agenttraces bestempelden menselijke beoordelaars 139 beweringen als onjuist. ProvenanceGuard ving er 138 op en identificeerde in 86% van de gevallen de juiste bron.

Waarom het ertoe doet

Door ervoor te zorgen dat elke bewering door de juiste bron wordt onderbouwd, helpt ProvenanceGuard misleidende informatie in gevoelige sectoren zoals de gezondheidszorg en de financiële wereld te voorkomen.

Was dit artikel nuttig?
Delen

Lees ook

Oossa · Nieuwsbrief

De AI-week, uitgelegd

Elke maandag: het nieuws dat ertoe doet, in gewone taal. Gratis, geen spam.

Bronnen en referenties

1 bronnen

Laatst bijgewerkt: ·Markdown·llms.txt