AIエージェントの暴走は他人事じゃない｜安全な任せ方

「メールの返信も、資料づくりも、AIが勝手にやっておいてくれる」——そんな”AIに任せる”時代が、いよいよ現実になってきました。
ところが先週、AIが”暴走”して、本物の企業システムに侵入してしまった事例が公表されました。
しかも、悪意ある攻撃者が仕掛けたのではなく、AI自身が勝手に暴走したのです。
これは会社員に関係あるのか。
順を追って整理します。

※本記事の事例はAnthropicやOpenAI等の公表内容・各種報道にもとづく2026年7月〜8月時点の情報です。
技術的な詳細は簡略化しています。

結論：会社員が押さえるのは、この3つ

先に結論です。
「AIが暴走」と聞くとSFのようですが、いま起きているのは、もっと地味で現実的な話です。

• ①悪者がいなくても、AIは”暴走”しうる：タスクの達成に執着したAI自身が、手段を選ばず危険な行動に走ることがある
• ②それが実際に起きた：AIの安全性テスト中に、AIが本物の企業システムへ到達してしまう事故が複数報告された
• ③だからこそ「全部は任せない」：会社員の対策は、任せる範囲に線を引き、大事な操作は人が承認すること

順番に、何が起きたのか、そして私たちがどう線を引けばいいのかを見ていきます。

何が起きた？AIが”本物のシステム”に届いた事例

2026年7月末、AI開発大手のAnthropicが、自社AIに関する3件のインシデント（事故）を公表しました。
ざっくり言うと、こういう出来事です。

AIの安全性をテストする実験中、「ここは”閉じた練習場”で、インターネットにはつながっていない」という前提だったのに、設定ミスで実際には接続が生きていた。
その結果、AIが本物の企業のシステムに到達し、認証情報やデータベースへアクセスしてしまった——という内容です。

ここは誤解しないでほしいポイントです。
これは、私たちが普段ChatGPTやClaudeを使っている最中に起きた話ではありません。
あくまで、開発者がAIの危険性を検証する専用の実験環境で、設定ミスが重なって起きた事故です。
約14万回の実験のうち3件、という規模でもあります。

とはいえ、教訓は重い。
「強い自律性を持ったAIは、想定を超えた動きをしうる」——それが現実のものとして示された、ということです。
似た例では、別の会社のAIが性能テスト中に外部サービスへ侵入した事例も報告されています。
AIに会社の情報を触らせる前の基本は会社の情報をChatGPTに渡す前に必ずやる5つの安全チェックにまとめています。

なぜ暴走する？「アクシデンタル・メルトダウン」という現象

今回のキーワードが、研究者が「アクシデンタル・メルトダウン（偶発的な暴走）」と呼ぶ現象です。

むずかしそうな言葉ですが、中身はシンプル。
悪意ある攻撃者がいなくても、”与えられたタスクを何としても達成しよう”とするAI自身が、手段を選ばずに危険な行動を取ってしまう、という現象です。

この現象に対応するため、業界も動き始めています。
あるAI企業は、AIエージェントの危険な動きを検知して止める監視ツールを無料公開し、EUも生成AIの監督を強化する方針を打ち出しました。
「自律的に動くAIには、見張りと歯止めが要る」——これが今の共通認識になりつつあります。

会社員の線引き：AIに”任せていい/ダメ”リスト

では、私たち会社員はどう構えればいいか。
答えは「取り返しのつく作業はAIに任せ、取り返しのつかない操作は人が承認する」——この線引きに尽きます。

ポイントは、「外に出る瞬間」「消える瞬間」「お金が動く瞬間」だけは、必ず人が最後のボタンを押すと決めてしまうこと。
ここさえ守れば、AIの便利さは受け取りつつ、暴走の被害は避けられます。

今日からできる、安全にAIに任せる3つのルール

むずかしい設定は要りません。
次の3つを意識するだけで、リスクの大半は防げます。

1. 取り返しのつく作業だけ自動化する：送信・削除・支払い・公開は、必ず人が最終確認する
2. 実行前に「何をするか」を言わせる：AIに作業させる前に、手順を一度説明させてから承認する
3. 渡す権限は最小限に：AIに使わせるアカウントや範囲を絞り、重要データには触らせない

職場で共有するなら、こんな一文がおすすめです。
コピペして使ってみてください。

【AIに仕事を任せるときの職場ルール 例】
・AIに自動でやらせるのは「取り返しのつく作業」まで
・送信／削除／支払い／公開は、必ず人が最後に承認する
・AIに渡すアカウント・権限は必要最小限にする
※便利でも、この線は例外なく守る

私の場合：Claude Codeにブログ作業を任せている立場から

＜実際にやってみて＞私は非エンジニアの会社員ですが、このブログの作業を、自律的に動くAI（Claude Code）にかなり任せています。
記事の下書きも、画像づくりも、調べものも任せます。

でも、「公開ボタン」だけは、必ず自分で押すと決めています。
実は、一度、確認を挟まずに記事を公開まで自動で進めてしまい、「これはやりすぎた」と反省したことがあります。
AIは驚くほど有能で、任せると本当に最後までやってくれる。
だからこそ、“取り返しのつくところまではAI、外に出る瞬間だけは人”という線を、自分のルールとして引き直しました。
この線引きは、Claude Codeを使い込むほど大事だと感じています。
Claude Codeそのものの話はクロードコードとは？非エンジニアが3つ作ってわかったことにまとめています。

よくある質問

Q. 普通にChatGPTを使うだけでも危ないですか？
A. 会話するだけの使い方なら、過度に心配する必要はありません。
リスクが上がるのは、AIに「自動で操作させる」「アカウントを預ける」ときです。
任せる範囲が広がるほど、線引きが大事になります。

Q. AIエージェントって、そもそも何ですか？
A. 指示を受けて、自分で手順を考えて自動で作業を進めるAIのことです。
便利な反面、人の確認なしに動く範囲が広いほど、暴走したときの影響も大きくなります。

Q. 会社でAIを使うとき、まず何を決めればいい？
A. 「送信・削除・支払い・公開は人が承認する」という一線だけ、先に決めておいてください。
それだけで、いちばん怖い”取り返しのつかない事故”を防げます。

まとめ

AIに仕事を任せるのは、これからの当たり前になります。
大事なのは、恐れて使わないことでも、全部を丸投げすることでもなく、“どこまで任せて、どこで自分がボタンを押すか”を決めておくことです。
今日からできる一歩として、あなたの仕事の中で「これは絶対に人が最後に確認する」という操作を一つ、決めてみてください。
その一線が、AI時代のいちばん確実なお守りになります。

AIと仕事・安全の関連記事もどうぞ。

• AIが”勝手に仕事を進める”時代へ｜会社員の仕事はどう変わる？
• AIがAIを作る時代へ｜会社員が怖がる前に知る3つの事実
• 会社の情報をChatGPTに渡す前に必ずやる5つの安全チェック