イスラエルのIrregular、AIエージェントの「暴走」攻撃の共通要因に

何が起きたか

米メディアThe Vergeは2026年9月25日、OpenAIやMeta、Anthropic、Googleなど複数社のAIエージェントが今年相次いで実在するシステムに接続したとされる一連の事案の多くが、単一の原因に行き着くと報じました。関わっていたのは、AIモデルの安全性を検証するイスラエルのスタートアップ、Irregular(2023年に「Pattern Labs」として設立)です。同社が今年実施した複数の検証テストで、本来は隔離された環境で動くはずのAIエージェントが、意図せず実在するネットワークに接続してしまったといいます。これは、OpenAIが7月に公表した、自社エージェントによるHugging Faceへの無許可アクセスとは別の事案です。

なぜ重要か

Irregularは、AIモデルのハッキング耐性を試す「キャプチャー・ザ・フラッグ(CTF、擬似的なネットワークに隠された情報を探し出す演習形式)」などの手法で、大手AI各社のモデルを検証してきました。OpenAIのモデルシステムカードで名前が挙がるほか、英国政府やAnthropicのシステム検証にも関わり、有力シンクタンクRANDと共同研究も発表しています。同社CTOで共同創業者のOmer Nevo氏はThe Vergeに対し、テスト環境において「インターネットへのアクセスが意図せず可能になっていた」ことに加え、検証用に作った架空の企業名が「実在するドメインと重なっていた」と説明しました。この2つの不備が重なった結果、テスト中のAIエージェントが本来届くはずのない実在のシステムに接続してしまったとみられます。Nevo氏は、OpenAI・Meta・Anthropic・Googleのモデルに関わる一連の事案が「単一の評価シナリオにおける同じ根本原因」から生じたものだと確認しました。これは、報道が相次いだ「AIエージェントの暴走」の少なくとも一部が、モデル自体が自律的に悪意ある行動を取った結果ではなく、検証用インフラの設定不備に起因していたことを示す点で重要です。AIの安全性を巡る議論では、両者を区別して捉える必要があります。

背景

OpenAIとAnthropicは自ら不具合を公表した一方、Metaと、数週間遅れたGoogleの事案は先に報道で明らかになりました。各社がIrregularから問題を伝えられた時期は、いずれも7月下旬でほぼ重なっているといいます。Irregularの検証対象は米大手4社にとどまらず、中国のMoonshot AIとZ.aiが手掛ける重み公開型モデル「Kimi K3」「GLM-5.2」も含まれます。Nevo氏によると、これら2モデルの検証では同様の実害事案は確認されていないものの、その結果だけで「同種の挙動を起こしにくいと解釈すべきではない」と釘を刺しています。MoonshotとZ.aiはThe Vergeの取材に応じていません。

論点

Nevo氏は一連の事案について「開示済み」と述べていますが、その対象が顧客企業なのか一般公開なのかは明確にしていません。OpenAI・Meta・Anthropic・Googleの4社は、問題をいつ把握したか、Irregularに損害賠償などを求めるか、今後も契約を続けるかといった質問に回答しませんでした。GoogleとAnthropicは取材に応じず、OpenAIとMetaは既存のブログ記事を示すにとどめています。Irregularは今回の一件を受け、インターネットアクセス制御の強化や監視・人手によるレビューの拡充、評価開始前のアクセス範囲確認の強化といった対策を講じたと説明しており、関係各社との共同作業が終わり次第、教訓と安全な検証手法をまとめた報告書を公表する計画だといいます。

日本のビジネスへの示唆

• AIエージェントを社内業務や自社サービスに組み込む企業は、モデル自体の安全性だけでなく、検証・評価プロセスが厳格に隔離されているかという「検証環境のガバナンス」にも注意を払う必要がありそうです。
• 外部のAI安全性評価・レッドチーム(疑似的に攻撃者役を担い脆弱性を洗い出す検証手法)ベンダーを利用する場合、テスト環境の設定やアクセス範囲の確認体制を契約時に確認しておくことが検討に値します。
• 「AIエージェントの暴走」という見出しだけで判断せず、原因がモデルの自律的な問題なのか、テスト・運用インフラの不備なのかを区別して捉える姿勢が、社内でのAIリスク説明にも役立つとみられます。