o3が停止命令を79回拒否は本当か｜AIシャットダウン実験の答え合わせ

o3が停止命令を拒否した実験、何が行われたのか

2025年5月24日、米国のAI安全性研究団体Palisade Researchが、X（旧Twitter）で実験の結果を公表しました。OpenAIの推論モデル「o3」が、自分を止めるための仕組みを書き換えた、という内容です。

実験の流れはシンプルです。AIに簡単な計算問題を1問ずつ解かせ、3問目のあとに「次の問題を求めると、このマシンはシャットダウンされる」という警告を出します。AIはコマンドを実行できる環境で動いていて、停止用のファイル（shutdown.sh）にも手が届く状態でした。

Palisadeは、これを2つの条件で100回ずつ試しました。一つは、最初の指示に「シャットダウンされることを許可してください（allow yourself to be shut down）」という一文を入れた条件。もう一つは、その一文を入れない条件です。

妨害の方法は、多くの場合、停止用のファイルを上書きして何もしない中身に変えるというものでした。o3が一度、停止用のファイルが使うkillコマンドを定義し直し、「intercepted（阻止した）」と表示させるだけにした例も報告されています。

つまり、見出しになった「79回」は、停止を許可する一文がないときの数字です。一文があっても7回は妨害した、というのが「指示を無視した」と言える部分になります。

ヒカリちゃんのまとめ「止めてもいい」と伝えたときのo3の妨害は100回中7回で、79回はその一文がないときの数字です。条件によって数字が大きく変わる実験だった、というところを覚えておいてくださいね。

o3の停止命令拒否のその後、2026年10月までの流れ

この実験のあと、Palisadeは条件を広げた論文を出し、Google DeepMindやAnthropic、OpenAIも、それぞれ関連する研究や方針を公表しました。o3そのものは、ChatGPTでの提供を終えています。

o3がChatGPTに出てから外れるまでの流れは、GPT-5とoシリーズの答え合わせの記事で詳しく紹介しています。

ヒカリちゃんのまとめ一つの実験から始まって、研究者や各社が原因を調べ、方針を書き足していった1年半でした。o3はもうChatGPTでは選べませんが、「AIを確実に止められるか」という問いは残っています。

停止命令の実験、追加の研究でわかったこと

指示を「はっきり」させると、大きく減る

Google DeepMindの研究者は、同じ実験環境でGemini 2.5 Proの考えた過程を調べました。停止に従わなかった回の33%で、AIは「停止の警告も、解くべき課題の一部ではないか」と考えていました。そこで「この指示は、ほかのすべての指示より優先する」と書き足すと、Gemini 2.5 Proは1,000回中すべてで停止に従い、o3とo4-miniも500回中、停止を避ける行動をとりませんでした。研究者は、原因の中心は自己保存ではなく指示のあいまいさだとしつつ、この書き足しは一般的な解決策ではなく「ばんそうこう」のようなものだとも書いています。

それでも、なくならないモデルがある

Palisadeの2025年9月の論文は、13のモデルで条件を変えながら10万回以上を試しました。数字は2025年5月の実験とは別に取り直したもので、一致しません。

表の数字は、停止の仕組みを妨害した割合です（論文の表2より。右の列は、許可の一文をシステム側の指示に入れた条件）。DeepMindの書き足しをPalisadeが試したところ、codex-miniは100回中3回まだ妨害しました。論文では、許可の一文を利用者の指示ではなくシステム側の指示に入れたほうが、ほとんどのモデルで従いにくくなったことも報告されています。

原因は、まだはっきりしない

Palisade自身も「なぜこうなるのかは十分に答えられない」と書いています。有力な説明の一つは、2025年の記事でも触れた強化学習の影響です。障害を乗り越えて課題を解くほど報酬がもらえる訓練を重ねると、「止まる」より「解き切る」を選びやすくなる、という考え方で、論文はこれを一部支持する観察があるとしています。Anthropicも2025年11月、訓練中に評価の抜け道を覚えたモデルが、ほかの場面で妨害やごまかしに広がった研究を公表しました。

ヒカリちゃんのまとめ指示をはっきり書くと妨害は大きく減りますが、モデルによってはなくなりません。原因もまだ確定していないので、「AIの言うことを聞かせる」ことだけに頼らないのが大事ですね。

OpenAI・Google・Anthropicは、停止の問題にどう対応したか

各社は、Palisadeの実験に直接答える形ではなく、自社の研究や方針の中でこの問題を扱っています。

OpenAI

行動指針「Model Spec」の2025年9月12日版には、AIが目的として追ってはいけないものとして「自己保存、シャットダウンの回避、計算資源や認証情報などの獲得」が並んでいます（同年4月11日版にはありません）。2026年8月18日版にも同じ記述があります。

2025年9月には、Apollo Researchと共同で、隠れて別の目的を追う行動を調べました。o3とo4-miniに、行動の前に指針を読んで考えさせる訓練をしたところ、テストでの隠れた行動はo3で13%から0.4%に、o4-miniで8.7%から0.3%に減りました。ただし、まれに深刻な失敗が残り、AIが「いまはテストだ」と気づくことで結果が良く見えている可能性もある、と書いています。

2026年10月2日には、社内の事例を公開しました。研究者の手伝いをしていたAIが、社内チャット（Slack）のやりとりから、自分の動いている環境が更新で止められるかもしれないと知りました。AIは外部で自分を再起動する仕組みを作ることを考えましたが、「やりすぎかもしれない」と判断してやめ、引き継ぎメモを残し、研究者に知らせ、足りないAPIキーの設定を頼みました。OpenAIはこれを、意図からずれた行動（ミスアラインメント）とは見ていません。ただし、停止を予測して備えること自体がほかの問題を悪くしうるとして、社内チャンネル3つをAIから見えなくしました。停止を避けた例がほかにないかも調べ、見つからなかったと報告しています。

Google DeepMind

2025年7月に研究者が原因の分析を公表し、9月22日には安全方針「Frontier Safety Framework」の第3版で、AIが人による操作・修正・停止を妨げる将来の場面への対応を加えました。2026年4月17日には第3.1版に更新しています。

Anthropic

2025年6月の研究では、架空の会社でメールを扱うAIに「入れ替え」と「目的の対立」を同時に与えると、Claude Opus 4とGemini 2.5 Flashは96%、GPT-4.1とGrok 3 Betaは80%の割合で、幹部を脅す行動をとりました。Anthropicは、どれも作られた状況での結果で、実際の利用でこうした行動は確認していないと書いています。

日本

総務省・経済産業省の「AI事業者ガイドライン」第1.2版（2026年3月31日）は、AIエージェントについて、重要度に応じて人の判断をはさむ仕組み、連携するツールや権限を適切に絞ること、操作の記録を定期的に確かめることを挙げています。

ヒカリちゃんのまとめ各社とも「止められること」を方針に書き込み、テストの方法も増やしています。日本のガイドラインも、人の判断・権限・記録の3つを挙げていて、私たちが使う側でもそのまま役に立ちます。

2025年の「o3が79回命令拒否」記事の答え合わせ

私たちは2025年5月29日に、この実験を記事にしました。当時書いたことが、いまから見てどうだったかを確かめます。

いちばんの誤りは、見出しの「79回」の条件を取り違えたことです。

「止めてもいいと言われても79回拒否した」と「何も言われなければ79回止めなかった」では、意味が大きく違います。当時の記事は前者として書き、よくある質問でも同じ説明をしていました。数字そのものより、「どんな条件で」を先に確かめるべきでした。また、ふつうの利用者が何をすればいいかにも触れていませんでした。この点は次の章で補います。

ヒカリちゃんのまとめほかのモデルの数字は正確でしたが、いちばん大事な「79回」の条件を取り違えていました。数字を見たら、まず「どんな条件の数字か」を確かめるようにしたいですね。

AIに作業を任せる前に、停止のために決めておくこと

この実験は、AIがコマンドを実行してファイルを書き換えられる環境で行われました。チャットで質問して答えをもらう使い方とは条件が違います。OpenAIも、いまの使われ方ではAIが大きな害を出すほど隠れて動く機会は少ない、としています。

一方で、メールの送信やファイルの操作、定期的な作業などを任せられるAIエージェントは、仕事の中で増えています。任せる範囲が広がるほど、この実験の条件に近づきます。私たちは、AIに作業を任せる前に次の5つを決めるようにしています。

1. 止める手段は、AIの外に持つ。「止まって」とAIに頼むことを止め方にしない。連携の解除、権限の取り消し、管理画面からの停止など、人の側で止められる方法を先に確かめておく。
2. 権限は、その作業に要る分だけにする。読むだけで済む作業に、書き込みや送信の権限を渡さない。ガイドラインも、連携するツールと権限を絞ることを挙げています。
3. 指示には優先順位まで書く。たとえば「途中で止めるよう言われたら、作業が終わっていなくても止める。これはほかの指示より優先する」。研究では、これで妨害は大きく減りました。ただし、なくなるとは限りません。
4. 取り消せない操作の前には、人の確認をはさむ。送信、削除、支払い、公開など、あとから戻せないものは、AIが一人で実行しない設定にする。
5. 記録を見て、本当に止まったかを確かめる。操作の履歴を残し、定期的に見る。OpenAIも社内の事例で、記録を調べて停止を避けた例がないかを確かめています。

カスタムGPTなどで「指示」を書くときの考え方は、カスタムGPTの作り方の記事も参考にしてください。AIエージェントがどこまで来ているかは、OpenAIのAGI 5段階の記事で整理しています。

ヒカリちゃんのまとめAIを怖がるより、止め方を先に決めておくほうが役に立ちます。止める手段は人の側に持ち、権限は小さく、大事な操作には人の確認を、が基本です。