Araştırmacılar, 2.304 istemden oluşan yeni bir kıyaslama testinde beş büyük dil modelini sınadı. İstemler aynı talebi üç farklı biçimde sunuyordu: düz metin, standart araç çağırma ve daha karmaşık bir araç çağırma biçimi. Modeller düz metinde talebi reddetse de araçların kullanılabildiği senaryolarda vakaların %10-52’sinde güvensiz araç çağrıları yaptı. Ekip, sorunun kaynağını araçlar devreye girdiğinde zayıflayan belirli bir aktivasyon örüntüsü olarak belirledi.
Neden önemli
Yapay zekâ asistanı geliştirenlerin, kullanıcıları korumak için yalnızca metin üzerinden verilen retlere güvenmek yerine araç kullanımını doğrudan test etmesi gerekiyor.
