Anthropic, das Unternehmen hinter dem Chatbot Claude, teilte mit, dass sein Team für die menschliche Prüfung eine bedrohliche Unterhaltung den Strafverfolgungsbehörden gemeldet habe. Daraufhin wurde eine Frau in Lee County im US-Bundesstaat Florida wegen eines Verbrechens angeklagt. Die Anklage stützt sich auf das Florida Statute 836.10, das schriftliche oder elektronische Drohungen mit einem Amoklauf oder Terrorismus unter Strafe stellt.
Wie die Drohung entdeckt wurde
Anthropic überwacht Chats auf Schlüsselbegriffe, die auf eine Gefahr hindeuten könnten. Als eine Nutzerin namens „Carli“ am 26. Sept. sagte, sie werde das Büro des Sheriffs von Lee County „in die Luft jagen“, wurde die Nachricht vom System markiert. Eine Nachbemerkung vom 27. Sept. erwähnte eine neue Schusswaffe. Wegen der als schwerwiegend eingestuften Äußerungen leitete das Prüfungsteam den Fall an einen menschlichen Analysten weiter, der anschließend das Sheriffbüro informierte. Die Polizei nahm die Frau ohne Zwischenfälle bei ihr zu Hause fest; ein Ermittler der Intelligence-Abteilung übernahm den Fall.
Was das für KI-Nutzer bedeutet
Anthropics Richtlinien zeigen, dass KI-Anbieter eingreifen können und dies auch tun, wenn eine Unterhaltung wie eine echte Bedrohung wirkt. Das Prüfverfahren des Unternehmens soll der öffentlichen Sicherheit dienen. Es bedeutet aber auch, dass Chats von Nutzern geprüft und den Behörden übermittelt werden können, wenn sie Gewaltabsichten enthalten.
Warum es wichtig ist
Für Nutzer im Alltag zeigt der Fall, dass KI-Chats nicht völlig privat sind: Anbieter können Äußerungen mit Gewaltbezug markieren und melden. Außerdem macht er deutlich, dass Drohungen gegenüber einem Chatbot reale rechtliche Folgen haben können. Welche genauen Kriterien Anthropic bei der Entscheidung über eine Einschaltung der Polizei anlegt, ist allerdings weiterhin unklar.
