Des chercheurs ont évalué cinq grands modèles de langage à l’aide d’un nouveau benchmark de 2,304 prompts. Ceux-ci formulaient la même demande de trois façons : en texte brut, avec un appel d’outil classique et avec un format d’appel d’outil plus détourné. Même lorsque les modèles refusaient en texte brut, ils effectuaient des appels d’outils risqués dans les configurations permettant d’utiliser des outils dans 10‑52% des cas. L’équipe a attribué le problème à un motif d’activation précis, qui s’affaiblit lorsque des outils sont utilisés.
Pourquoi c'est important
Les développeurs d’assistants IA doivent tester directement le comportement lié à l’utilisation des outils, au lieu de se fier uniquement aux refus écrits, afin de protéger les utilisateurs.
