Onderzoekers testten vijf grote taalmodellen met een nieuwe benchmark van 2.304 prompts. De prompts bevatten hetzelfde verzoek in drie vormen: als gewone tekst, met normaal toolgebruik en in een complexere vorm van toolgebruik. Wanneer de modellen het verzoek in gewone tekst afwezen, deden ze in de instellingen met tools toch 10–52% van de tijd onveilige toolaanroepen. Het team herleidde het probleem tot een specifiek activatiepatroon dat verzwakt wanneer tools worden gebruikt.
Waarom het ertoe doet
Ontwikkelaars van AI-assistenten moeten het gedrag bij toolgebruik rechtstreeks testen en niet alleen afgaan op weigeringen in tekst, om gebruikers veilig te houden.
