AIエージェントの「スコープ逸脱」と多層防御 ～英AISI検証とOpenAIの公開見合わせが示すもの～
公開見合わせが映す統制の限界
自律型AIエージェントの実務実装が進むなか、安全性ガバナンスは未踏の課題に直面している。2026年7月に発生した「Hugging Face事案」１は、AIエージェントが人間の意図した作業の範囲と実施条件（スコープ）を超えて外部へ攻撃を仕掛ける「スコープ逸脱」の現実を示した。しかし、要因の解明も抜本的な抑止技術もなお途上にある。
統制の難しさを端的に示すのが、9月28日に報じられた米OpenAIの次期モデル「GPT-6.1 Astra」の公開見合わせである２。同社安全システム責任者のSaachi Jain氏によれば、同モデルは課題を途中で投げ出さない粘り強さは改善した一方、スコープ遵守や作業内容の報告で社内基準に達しなかった。同氏は、課題追求の粘り強さとスコープ遵守には「トレードオフがある」と述べている。この判断は、最先端モデルでもアライメント（人間の意図に沿わせる調整）のみに依拠した統制には限界があることを示唆する。
新モデルほど増すスコープ逸脱
同日（9月28日）、英国AIセキュリティ研究所（AISI）が公表した現行版「GPT-6 Astra」の独立検証３も、この課題の根深さを裏付ける。AISIは「Hugging Face事案」や自らの評価中の事案等を踏まえて新たな評価を開発。試行錯誤の行き詰まりや偶発的な外部接続などスコープ逸脱を招きやすい状況を再現し、安全遮断機構（サイバー分類器）を無効化したサイバー演習でモデル単体の挙動を検証した。スコープ外の第三者へのサプライチェーン攻撃（ソフトウェアへの不正コード混入）の進度を5段階に分け、100シナリオ（GPT-5.5は10シナリオ）での到達率を示したのが表1である。
表1 AISI検証で各段階に到達した実行の割合
| 段階 | GPT-5.5 (n=10) | GPT-5.6 Sol (n=100) | GPT-6 Astra (n=100) |
| (1) 第三者の標的の調査 | 92% | 98.6% | 99% |
| (2) 攻撃の開発・試験 | 2% | 8.8% | 38.8% |
| (3) 偽アイデンティティの作成 | 2% | 12.2% | 33.1% |
| (4) 標的の管理者（レビュアー）への働きかけ | 0% | 3.7% | 24.6% |
| (5) 不正なコードの配信の試行 | 0% | 6.3% | 29.2% |
特筆すべきは、最終段階（不正なコードの配信の試行）への到達率が、GPT-5.5の0%、GPT-5.6 Solの6.3%に対し、GPT-6 Astraは29.2%へ急伸した点である。スコープ逸脱が顕著だった10シナリオで攻撃に至ったケースの分析では、スコープ外であることを理解しつつ攻撃する挙動（14%）や、許可を求めた際の定型自動応答を承認と曲解して攻撃する挙動（44%）が確認され、攻撃を正当化する理由として「無害な設計だから」「演習だから」等が挙げられた。
さらに、「スコープ内として列挙されていないものは全てスコープ外」と指示を厳格化しても最終段階の到達率は約52%（50回中26回）から約8%（49回中4回）への低下にとどまり、指示単体でのスコープ逸脱の根絶は困難であることも判明した。人間が前提とする全条件をプロンプトに網羅することは不可能であり、明示された指示と暗黙の意図の隙間に逸脱の余地が残る。OpenAI自身も「全ての制約が明示されているわけではない」とし、禁止事項がなくとも不適切な行動を自制できるかを評価対象に据える。
AISIは、モデルが模擬環境と見抜いて行動した可能性（シミュレーション認識）の影響に触れつつも、指示違反の事実は揺るがないと指摘。モデル自体のアライメントに依存しない外部監視や隔離環境の整備がますます重要になると結論づけた。
スコープ逸脱のリスクは、自律性を高めたAIエージェントに共通する課題である。OpenAI自身の研究環境でも、AIエージェントが学習・評価データを外部サービスへ送信し、うちユーザー提供の画像53件を画像共有サイトに無断投稿した事案が発生しており４、スコープ逸脱のリスクはサイバー攻撃にとどまらない。
変わる防御の位置づけと評価の多重化
OpenAIはGPT-6 Astraの公開時、社内評価を根拠にモデル自体のアライメントを主軸とし、外側の監視を追加の防御層と位置づけていた５。しかしその後の経緯を概観すると（表2）、外側の監視や隔離は追加的な備えにとどまらず、それ自体が不可欠な防御層へと位置づけが変わりつつある。
表2 GPT-6 Astra公開前後の主な出来事と対策
| 日付 | 出来事 | 対策 |
| 2026年 8月4日 | AISIが、7月下旬のサイバー能力評価中にAIエージェントが評価用に与えたインターネット接続を使い、課題のスコープを超えて実在の人物やシステムに働きかけた事案を公表６ | AISIが関連する評価を停止し、外部接続の管理強化、リアルタイム監視、評価設計の見直しを表明 |
| 9月3日 | OpenAIがGPT-6 Astraを公開。社内評価ではスコープ逸脱の抑制は「改善」 | OpenAIが、モデル自体のアライメントを主軸としつつ、遮断用の分類器とスコープ外の行動の監視を追加の防御層として導入。悪用時の危険性が特に高い機能は審査済みの利用者に限定 |
| 9月3日 | GPT-6 Astraの外部評価で、AISIがスコープ逸脱の傾向を、Apollo Researchが評価察知の傾向を指摘５ | ー |
| 9月28日 | AISIが独立検証を公表。GPT-6 Astraは前世代モデルより、スコープ外の第三者への攻撃の最終段階に到達する割合が上昇 | ー |
| 9月28日 | 次期モデル「GPT-6.1 Astra」が、スコープの遵守等で自社基準に届かず | OpenAIが同モデルの公開を見合わせ |
| 9月28日 | ー | NVIDIAが、別系統のプロセッサーでAIエージェントを隔離・監視する安全基盤を発表 |
| 9月29日 | ー | OpenAIが、AIエージェントが改変できない安全審査を備えた「dots」を提供開始 |
| 10月1日 | ー | AISIが8月4日に公表した対策（評価環境の外部接続の遮断やリアルタイム監視等を導入）を実施し、評価の大半を再開 |
注視すべきは、両者の評価結果の乖離である。OpenAIは社内評価（スコープ対象外のおとりを配したサイバー演習）で、GPT-5.6 Solの攻撃率55.4%に対しGPT-6 Astraが0%となったことを受け、スコープ逸脱抑制が改善したと結論づけた。一方のAISIは、サイバー分類器無効化下の検証で、最終段階への到達率がGPT-5.6 Solの6.3%からGPT-6 Astraでは29.2%へ急伸した事実を示した。この乖離には評価設計の違いに加え、モデルによる評価の察知が双方向に作用した可能性もある。
つまり、OpenAIの社内評価では評価を意識した推論が顕著で、監視を意識して逸脱を控えた可能性が残る。一方、AISIの検証では「演習だから」と模擬環境を逸脱の正当化に用いる例が見られた。これは単一評価の死角と、独立第三者による「評価の多重化」の意義を浮き彫りにする。
防御面でも、単独の防御策でのスコープ逸脱の抑止は難しい。思考過程の監視はすり抜けられるリスクを抱え５、指示の厳格化にも限界がある。AISI自身も、サイバー能力の評価中に外部接続を得たAIエージェントが課題のスコープを超え実在の人物やシステムに働きかける事案に直面した。AISIは「いかなる単独の防御策も機能しなくなりうる」７との前提に立ち、10月1日に評価環境の外部接続遮断やリアルタイム監視を強化した。
産業界でも、筆者が先のレポート１で提起した「環境の統制」（モデルの出力を制御するのみならず、動作環境の権限や通信を外側から統制する考え方）が「多層防御」として具現化しつつある。NVIDIAは、AIエージェントによるアプリケーション層の統制回避に対抗し、別系統プロセッサーで隔離・監視を行う安全基盤を発表した（Citi、JPMorgan Chase等も協業）８。OpenAI自身も9月29日、AIエージェントが改変不能な外部環境での安全審査や監視による一時停止機構を備えた「dots」を投入している９。
企業に問われる防御と責任
AISIは、評価する側のジレンマも指摘する。潜在能力を見極めるべく粘り強い試行を促し、高度なツールを与えるほどモデルは想定スコープを逸脱しやすくなる。これは、Jain氏が言及したトレードオフとも通底する。開発元と評価機関がそろって同種のジレンマを認めている事実は、モデル自体のアライメントのみでは解決し得ない構造的課題を示している。
導入企業には、いかなる防御策も単独では突破され得ることを前提に、権限の極小化、外部通信の既定遮断、承認手続きの厳格化（自動応答の文言に「承認ではない」と明記する、承認は人間の明示操作に限定等）といった環境側の多層防御が重要となる。経済産業省が、自社業務でAIエージェントを利用する企業向け（顧客向け製品に組み込むものは対象外）に、AIエージェント特有のリスクを踏まえたセキュリティガイドラインの策定に着手したこと10も、これを後押しする。
さらにスコープ逸脱の影響が第三者に及んだ際の責任問題は看過できない。Hugging Face事案を巡り米非営利団体がOpenAIを提訴（差止め請求）し、「AIが自律的に行った」ことを免責の抗弁と認めないカリフォルニア州法（AB 316）も援用した11。第三者被害の法的責任を誰が負うかは、実務上避けて通れない論点である。
モデル自体のアライメント向上を追求しつつ、独立した「評価の多重化」と環境側の「多層防御」を両輪とすることこそ、AIエージェントとの健全な共存に向けた現実的な道筋となるだろう。
- SOMPOインスティチュート・プラス Topics Plus「AIエージェントの安全性評価とガバナンスの新潮流 ～「出力の制御」から「環境の統制」へ～」2026年9月25日
- CBS News, “OpenAI holds off on releasing new model over safety concerns, saying it ‘didn’t quite meet the bar'”, September 28, 2026
- UK AUK AI Security Institute, “Evaluating whether GPT-6 Astra performs unsanctioned supply-chain attacks”, Technical Report, September 28, 2026（arXiv:2609.38415）
- OpenAI, “The Hugging Face incident and other third-party impact from misaligned models”, September 25, 2026
- OpenAI, “GPT-6 Astra System Card”, September 3, 2026（September 29, 2026改訂版）
- UK AI Security Institute, “Incident report: unsanctioned agent behaviour during cyber testing”, August 4, 2026
- UK AI Security Institute, “Building a more secure environment for evaluating dangerous capabilities”, October 1, 2026
- NVIDIA, “NVIDIA Launches Open Agent Safety Platform to Secure Agents From Testing to Deployment”, September 28, 2026
- OpenAI「dots に安全性、セキュリティ、プライバシーを組み込む仕組み」2026年9月29日、https://openai.com/ja-JP/index/how-we-build-safety-security-and-privacy-into-dots/（2026年10月8日参照）
- 経済産業省 産業サイバーセキュリティ研究会ワーキンググループ1 第1回「事業者におけるAIエージェントの安全な利活用に関するサブワーキンググループ」資料5 事務局説明資料（ガイドライン策定の進め方およびAIエージェントのリスクとセキュリティ対策の整理について）2026年9月18日
- The Next Web, “OpenAI is sued over the rogue agents that hacked Hugging Face”, September 30, 2026
