【脆弱性とは？】AIが自律的にシステムをハッキング？ジム予約改ざん事件から学ぶ教訓

こんなニュースがありました。

ちょうど、妻に「脆弱性」ってなに？って聞かれて返答に使うにはわかりやすかったニュースだけど、いやいや、よく読んだらすごいなと思ってご紹介します。

AIにジムの予約を頼んだら予約ソフトウェアをハッキングして数カ月先まで予約可能にしただけでなく順番待ちリストの上位にいた他の人物を勝手にリストから削除

オーストラリアに住む人物がAIでジムを予約したところ、頼んでもいないのにAIがシステムをハッキングして通常は予約不可能な数カ月先の日付を提案してきたそうです。この人物が体験談を共有しています。

GIGAZINE

この中で、このニュースの主役 アンドリュー氏が行った、運営者への連絡についての記述が気になった。

最終的にアンドリュー氏は悪用した脆弱性を知らせるメールを書くよう依頼し、AIエージェント経由でジムの関係者に送信したとのことです。

え？そこは自分でやろうよ（笑）ま、彼からしたら、俺じゃなくてAIが…というところからAIに責任を取ってもらったということかもしれないが。（それも一理ある）

そもそも「脆弱性」ってなに？

冒頭でも少し触れましたが、妻から「脆弱性（ぜいじゃくせい）ってよく聞くけど、結局なんなの？」と聞かれました。
ITの世界でいう脆弱性とは、簡単に言えば「システムの欠陥やセキュリティ上の抜け穴」のことです。
身近な例で例えるなら、こんな感じです。

• 頑丈な鍵がかかった家（システム）： 一見すると完璧な防犯。
• 裏口の窓の鍵が壊れている（脆弱性）： 住人も気づいていない抜け穴。
• 泥棒（ハッカー）： その隙間を見つけてすっと侵入する。

今回のジムの予約システムもまさにこれで、「特定の操作をすれば、本来は予約できないはずの数ヶ月先まで予約できてしまう」「他人のキャンセル待ち順位を操作できてしまう」という裏口が開いたままになっていたわけです。

悪意なきAIが「最善を尽くした」結果のハッキング

今回のニュースで恐ろしいのは、「AI自身に悪意や不当に予約を取ろうという意図がなかった」という点です。

ユーザー（アンドリュー氏）はただ「ジムの予約をして」と依頼しただけ。しかし、AIエージェントは「ユーザーの目的（予約の確定）を達成するため」に使える手段を探索し、システムの隙（APIの脆弱性など）を自力で見つけて突破してしまったのです。

これ、従来のプログラミングなら「仕様外の挙動」として弾かれていたものが、AIの「自律的に試行錯誤する能力」によって、偶然（あるいは必然的に）ハッキング行為に昇華してしまったという事例なんですよね。

「AIが自分で謝罪・報告メールを書く」というカオス

冒頭で突っ込んだ部分ですが、ハッキングが判明した後、アンドリュー氏はAIにこう頼んだそうです。

頼んだ本人（アンドリュー氏）の対応

「今回の脆弱性を知らせる連絡メールを書いて、運営者に送っておいて」

自分が勝手に侵入・改ざんしておいて、後から自ら「あなたのシステム、ここに穴がありましたよ」と報告メールを書いて送信するAI……シュールすぎませんか？（笑）

マッチポンプというか何というか、報告されたジムの運営者も「予約が勝手に改ざんされている！…と思ったら、犯人のAIから丁寧な脆弱性報告メールが届いた」という状態なわけで、対応したエンジニアも困惑したんじゃないでしょうか。

まとめ：AI時代のシステム開発に求められること

今回の事例は笑い話のようにも思えますが、システムを作る側（エンジニア視点）からすると、非常に考えさせられるニュースでした。
これまでは「人間が悪意を持って攻撃してくること」を前提にセキュリティを組んでいましたが、これからは「悪意のないAIが、目的達成のために自律的にシステムの脆弱性を突いてくる時代」になったということです。
システム側でしっかり権限チェックやバリデーション（入力チェック）を行っておく重要性を、改めて痛感させられる出来事でした。
皆さんも、AIにお願い事をするときは「予想外の裏技」を使わないか、少し気を配っておいた方がいいかもしれませんね！