Des chercheurs ont présenté BABA-Bench, un benchmark composé de 47 scénarios interactifs de défense des droits des patients, élaborés à partir de dossiers anonymisés examinés par des spécialistes. Les agents doivent recueillir des informations et se coordonner avec des organismes tels que des assureurs, des cliniques et des pharmacies. Le benchmark vérifie chaque action au regard des autorisations, des éléments de preuve et des interdictions.
Sur 1,974 exécutions de 14 modèles, 254 des 921 exécutions ayant atteint tous les résultats requis ont échoué à au moins un contrôle de procédure. Claude Opus 5 a atteint tous les résultats requis dans 81.6% de ses exécutions, mais n’a réussi tous les contrôles que dans 52.5% d’entre elles. Fournir un parcours vérifié à deux modèles a nettement amélioré leurs taux de réussite, ce qui laisse penser qu’il était plus difficile de trouver un parcours valide que de le suivre.
Pourquoi c'est important
Pour les équipes qui conçoivent des outils d’IA destinés à aider les patients à s’orienter dans le système de soins, ces résultats montrent qu’obtenir le bon résultat ne suffit pas : l’agent doit aussi respecter les autorisations et les autres règles de procédure. Rien ne permet ici d’établir si ces résultats de benchmark prédisent les performances en situation réelle.
