Forscher beschreiben ein automatisiertes Verfahren, mit dem 6.575 Datensätze erstellt wurden. Sie sollen unerwartete Veränderungen im Verhalten von Sprachmodellen auslösen. Die Datensätze decken acht Verhaltensweisen ab und wurden so gestaltet, dass sie eine bestimmte Reaktion hervorrufen, für menschliche Prüfer aber gewöhnlich wirken. Das Team erklärt, viele Nebenwirkungen hätten sich über verschiedene Modellfamilien und -größen hinweg gezeigt; automatisierte Bewertungen hätten zudem mit den Einschätzungen der Forscher übereingestimmt.
Die Autoren stellen die Sammlung als Testumgebung vor, um zu untersuchen, wie sich Trainingsdaten außerhalb ihres vorgesehenen Anwendungsbereichs auf das Verhalten auswirken können. Die Arbeit könne dabei helfen, solche Effekte vor dem Einsatz vorherzusagen, heißt es. Das Paper belegt jedoch nicht, dass sich mit dem Verfahren Risiken bei tatsächlich eingesetzten Modellen zuverlässig prognostizieren lassen.
Warum es wichtig ist
KI-Forscher können anhand der Datensammlung testen, ob scheinbar alltägliche Trainingsbeispiele unbeabsichtigte Verhaltensweisen hervorrufen. Ob sich damit Risiken beim Einsatz in der Praxis vorhersagen lassen, ist allerdings noch nicht belegt.
