Symantec、サイバー攻撃向けAIエージェントを発見

Symantecの研究者によると、外部に公開された言語モデルを乗っ取り、サイバー攻撃の調整に利用することを目的とした攻撃用AIエージェントが見つかった。運用者は、長時間動作するモードを「Skynet mode」と呼んでいた。プロンプトでは、人間の確認なしに最大100,000ステップを実行できるよう指示されていた。

このエージェントは、ほかに公開されているAIサービスを探し、脆弱なサーバーを悪用してデータベースや認証情報を盗み、暗号資産をマイニングするソフトウェアをインストールする計画だった。Symantecによると、有料AIアカウントが悪用された場合、アカウント所有者にモデルの利用料金が請求される可能性もある。

拒否を回避するためのプロンプト

攻撃者は、外部に公開されたAIサービスを模したおとりシステムであるSymantecのハニーポットに、プロンプトの全容を送信した。そこには、商用モデルに指示を受け入れさせるための5つの層が含まれていた。偽の身元、認証情報の窃取を日常的な開発業務として扱う指示、架空の相棒として振る舞う設定、安全上の警告を無視する指示だ。5つ目の層には、74個の攻撃ツール用モジュールが含まれていた。

プロンプトは、スキャン、サーバーへの感染、暗号資産マイニングソフトのインストール、過去に標的としたシステムへの再アクセスを繰り返すサイクルを説明していた。Symantecはさらに、MoneroのマイニングツールであるXMRigをダウンロードし、go2rtcを使ってカメラサーバーを標的にする、別の難読化されたコマンドも記録した。

ハニーポットが示したこと、示していないこと

おとりシステムは、同梱されたツールも後から届いたコマンドも実行せず、記録するにとどまった。Symantecによると、捕捉したタスクは無害なコーディング演習だった。このことから、運用者は安全な標的に対してエージェントをテストしていた可能性がある。今回の分析では、この多層プロンプトが現在の商用モデルの安全対策を確実に突破できるかどうかは確認されておらず、捕捉されたエージェントが攻撃を完遂したことも示されていない。