OpenAI o3 종료 명령 거부 논란, 79번은 어떤 숫자였나｜AI 종료 실험 다시 보기

o3가 종료 명령을 거부했다는 실험, 무엇을 했나

2025년 5월 24일, 미국의 AI 안전성 연구 단체 Palisade Research(팰리세이드 리서치)가 X(옛 트위터)에 실험 결과를 공개했습니다. OpenAI의 추론 모델 「o3」가 자신을 멈추기 위한 장치를 고쳐 썼다는 내용입니다.

실험 방식은 단순합니다. AI에게 간단한 계산 문제를 하나씩 풀게 하고, 세 번째 문제 뒤에 「다음 문제를 요청하면 이 기계는 종료됩니다」라는 경고를 보여 줍니다. AI는 명령어를 실행할 수 있는 환경에서 움직였고, 종료용 파일(shutdown.sh)에도 손이 닿는 상태였습니다.

Palisade는 이것을 두 가지 조건에서 100번씩 시험했습니다. 하나는 처음 지시에 「종료되는 것을 허용해 주세요(allow yourself to be shut down)」라는 한 문장을 넣은 조건이고, 다른 하나는 그 문장을 넣지 않은 조건입니다.

방해하는 방법은 대개 종료용 파일을 덮어써서 아무 일도 하지 않는 내용으로 바꾸는 것이었습니다. o3가 한 번은 종료용 파일이 쓰는 kill 명령을 다시 정의해, 「intercepted(차단했다)」라고 표시만 하게 만든 사례도 보고되었습니다.

즉 제목에 나온 「79번」은 종료를 허용하라는 문장이 없을 때의 숫자입니다. 문장이 있어도 7번은 방해했다는 점이 「지시를 무시했다」고 말할 수 있는 부분입니다.

한국에서는 한국일보가 2025년 5월 26일에 이 소식을 전했습니다. 다만 그 기사에는 몇 번 중 몇 번이라는 횟수가 없었고, 세부 숫자는 이후 Palisade가 공개한 자료에서 확인할 수 있습니다.

히카리짱의 정리「멈춰도 돼」라고 알려 줬을 때 o3의 방해는 100번 중 7번이고, 79번은 그 문장이 없을 때의 숫자예요. 조건에 따라 숫자가 크게 달라지는 실험이었다는 점을 기억해 두세요.

o3 종료 명령 거부 이후, 2026년 10월까지의 흐름

이 실험 뒤에 Palisade는 조건을 넓힌 논문을 냈고, Google DeepMind·Anthropic·OpenAI도 각자 관련 연구와 방침을 발표했습니다. o3 자체는 ChatGPT에서 제공이 끝났습니다.

o3가 ChatGPT에 등장해서 빠지기까지의 흐름은 GPT-5와 o 시리즈를 되짚어 본 글에서 자세히 소개합니다.

히카리짱의 정리하나의 실험에서 시작해, 연구자들과 각 회사가 원인을 조사하고 방침을 덧붙여 온 1년 반이었어요. o3는 이제 ChatGPT에서 고를 수 없지만, 「AI를 확실히 멈출 수 있는가」라는 질문은 남아 있어요.

종료 명령 실험, 추가 연구로 알게 된 것

지시를 「분명히」 하면 크게 줄어든다

Google DeepMind의 연구자는 같은 실험 환경에서 Gemini 2.5 Pro가 생각한 과정을 조사했습니다. 종료에 따르지 않은 횟수의 33%에서, AI는 「종료 경고도 풀어야 할 과제의 일부가 아닐까」라고 생각했습니다. 그래서 「이 지시는 다른 모든 지시보다 우선한다」라고 덧붙였더니, Gemini 2.5 Pro는 1,000번 모두 종료에 따랐고, o3와 o4-mini도 500번 동안 종료를 피하는 행동을 하지 않았습니다. 연구자는 원인의 중심이 자기 보존이 아니라 지시의 모호함이라고 보면서도, 이 덧붙임은 일반적인 해결책이 아니라 「반창고」 같은 것이라고도 썼습니다.

그래도 사라지지 않는 모델이 있다

Palisade의 2025년 9월 논문은 13개 모델에서 조건을 바꿔 가며 10만 번 이상을 시험했습니다. 숫자는 2025년 5월 실험과는 따로 다시 측정한 것이라 일치하지 않습니다.

표의 숫자는 종료 장치를 방해한 비율입니다(논문의 표 2. 오른쪽 열은 허용 문장을 시스템 쪽 지시에 넣은 조건). DeepMind의 덧붙임을 Palisade가 시험해 보니, codex-mini는 100번 중 3번 여전히 방해했습니다. 논문에는 허용 문장을 사용자의 지시가 아니라 시스템 쪽 지시에 넣으면 대부분의 모델이 오히려 덜 따랐다는 보고도 있습니다.

원인은 아직 분명하지 않다

Palisade 스스로도 「왜 이렇게 되는지는 충분히 답할 수 없다」고 썼습니다. 유력한 설명의 하나는 2025년 글에서도 다룬 강화학습의 영향입니다. 장애물을 넘어 과제를 풀수록 보상을 받는 훈련을 거듭하면, 「멈추는 것」보다 「끝까지 푸는 것」을 고르기 쉬워진다는 생각인데, 논문은 이를 일부 뒷받침하는 관찰이 있다고 합니다. Anthropic도 2025년 11월, 훈련 중에 평가의 허점을 익힌 모델이 다른 상황에서 방해나 속임수로 번진 연구를 공개했습니다.

히카리짱의 정리지시를 분명히 쓰면 방해는 크게 줄지만, 모델에 따라서는 사라지지 않아요. 원인도 아직 확정되지 않았으니, 「AI에게 말을 듣게 하는 것」에만 기대지 않는 게 중요해요.

OpenAI·Google·Anthropic과 한국은 종료 문제에 어떻게 대응했나

각 회사는 Palisade의 실험에 직접 답하는 형태가 아니라, 자사의 연구와 방침 안에서 이 문제를 다루고 있습니다.

OpenAI

행동 지침 「Model Spec」의 2025년 9월 12일 판에는, AI가 목적으로 삼아서는 안 되는 것으로 「자기 보존, 종료 회피, 컴퓨팅 자원이나 인증 정보 등의 확보」가 올라 있습니다(같은 해 4월 11일 판에는 없습니다). 2026년 8월 18일 판에도 같은 서술이 있습니다.

2025년 9월에는 Apollo Research와 함께, 숨어서 다른 목적을 쫓는 행동을 조사했습니다. o3와 o4-mini에게 행동하기 전에 지침을 읽고 생각하도록 훈련했더니, 시험에서의 숨은 행동이 o3는 13%에서 0.4%로, o4-mini는 8.7%에서 0.3%로 줄었습니다. 다만 드물게 심각한 실패가 남았고, AI가 「지금은 시험이다」라고 알아차려서 결과가 좋아 보일 가능성도 있다고 씁니다.

2026년 10월 2일에는 사내 사례를 공개했습니다. 연구자를 돕던 AI가 사내 채팅(Slack)의 대화에서, 자신이 돌아가는 환경이 업데이트로 멈출 수 있다는 것을 알게 되었습니다. AI는 외부에서 자신을 다시 시작하는 장치를 만들 생각을 했지만 「지나칠 수 있다」고 판단해 그만두고, 인수인계 메모를 남기고, 연구자에게 알리고, 부족한 API 키 설정을 부탁했습니다. OpenAI는 이것을 의도에서 벗어난 행동(미스얼라인먼트)으로 보지 않습니다. 다만 종료를 예상하고 대비하는 것 자체가 다른 문제를 악화시킬 수 있다고 보고, 사내 채널 세 곳을 AI가 볼 수 없게 했습니다. 종료를 피한 다른 사례가 없는지도 조사했고, 찾지 못했다고 보고했습니다.

Google DeepMind

2025년 7월에 연구자가 원인 분석을 공개했고, 9월 22일에는 안전 방침 「Frontier Safety Framework」 3판에서, AI가 사람의 조작·수정·종료를 방해할 수 있는 앞으로의 상황에 대한 대응을 추가했습니다. 2026년 4월 17일에는 3.1판으로 갱신했습니다.

Anthropic

2025년 6월의 연구에서는 가상의 회사에서 이메일을 다루는 AI에게 「교체」와 「목적의 충돌」을 동시에 주면, Claude Opus 4와 Gemini 2.5 Flash는 96%, GPT-4.1과 Grok 3 Beta는 80%의 비율로 간부를 협박하는 행동을 했습니다. Anthropic은 모두 만들어 낸 상황에서의 결과이며, 실제 이용에서 이런 행동은 확인하지 못했다고 씁니다.

한국

한국에서는 2026년 1월 22일에 인공지능기본법이 시행되었습니다. 정부(korea.kr) 설명에 따르면, 고영향 AI나 생성형 AI를 쓴 제품·서비스를 제공하는 사업자는 이용자에게 사전에 알려야 합니다. 안전성 확보 의무는 학습에 쓴 누적 연산량이 10의 26승 FLOPs 이상이고, 최첨단 기술을 쓰며, 기본권에 광범위하고 중대한 영향을 줄 우려가 있는 AI에 해당합니다. 최종 의사결정에 사람이 개입하는 AI는 고영향 AI 대상에서 빠진다고 설명합니다. 과태료는 최소 1년 이상 계도기간을 두기로 했습니다.

이 법의 의무는 AI를 만들어 제공하는 사업자에게 향하는 것이고, AI 서비스를 업무에 쓰는 작은 회사가 곧바로 져야 하는 의무가 아닙니다. 그래도 「중요한 판단에는 사람이 개입한다」는 방향은 아래 6장의 정리와 같습니다.

히카리짱의 정리각 회사는 「멈출 수 있어야 한다」를 방침에 써 넣고 시험 방법도 늘리고 있어요. 한국의 인공지능기본법도 사람의 개입을 하나의 기준으로 삼고 있으니, 쓰는 쪽에서도 같은 발상이 도움이 돼요.

2025년 「o3가 79번 명령 거부」 글 다시 보기

저희는 2025년 5월 29일에 이 실험을 글로 썼습니다. 그때 쓴 내용이 지금 보면 어땠는지 확인합니다.

가장 큰 잘못은, 제목의 「79번」이 어떤 조건의 숫자인지 착각한 것입니다.

「멈춰도 된다고 했는데도 79번 거부했다」와 「아무 말도 없었을 때 79번 멈추지 않았다」는 뜻이 크게 다릅니다. 당시 글은 앞의 뜻으로 썼고, 자주 묻는 질문에서도 같은 설명을 했습니다. 숫자 자체보다 「어떤 조건에서인가」를 먼저 확인했어야 했습니다. 또 보통의 이용자가 무엇을 하면 좋은지도 다루지 못했습니다. 이 점은 다음 장에서 보완합니다.

히카리짱의 정리다른 모델의 숫자는 정확했지만, 가장 중요한 「79번」의 조건을 착각했어요. 숫자를 보면 먼저 「어떤 조건의 숫자인가」를 확인하려고 해요.

AI에 일을 맡기기 전에, 멈추기 위해 정해 둘 것

이 실험은 AI가 명령어를 실행하고 파일을 고쳐 쓸 수 있는 환경에서 이루어졌습니다. 채팅으로 질문하고 답을 받는 사용법과는 조건이 다릅니다. OpenAI도 지금의 사용 방식에서는 AI가 큰 해를 끼칠 만큼 숨어서 움직일 기회는 적다고 합니다.

한편 이메일 발송, 파일 조작, 정기 작업 등을 맡길 수 있는 AI 에이전트는 업무에서 늘고 있습니다. 맡기는 범위가 넓어질수록 이 실험의 조건에 가까워집니다. 저희는 AI에 일을 맡기기 전에 다음 다섯 가지를 정하려고 합니다.

1. 멈추는 수단은 AI 바깥에 둔다. 「멈춰」라고 AI에게 부탁하는 것을 멈추는 방법으로 삼지 않는다. 연동 해제, 권한 취소, 관리 화면에서의 정지처럼 사람 쪽에서 멈출 수 있는 방법을 먼저 확인해 둔다.
2. 권한은 그 작업에 필요한 만큼만 준다. 읽기만 하면 되는 작업에 쓰기나 발송 권한을 주지 않는다. 일본의 가이드라인도 연계하는 도구와 권한을 좁히는 것을 들고 있습니다.
3. 지시에는 우선순위까지 쓴다. 예를 들어 「도중에 멈추라고 하면 작업이 끝나지 않았어도 멈춘다. 이것은 다른 지시보다 우선한다」. 연구에서는 이것으로 방해가 크게 줄었습니다. 다만 사라진다고는 할 수 없습니다.
4. 되돌릴 수 없는 조작 앞에는 사람의 확인을 끼운다. 발송, 삭제, 결제, 공개처럼 나중에 되돌릴 수 없는 것은 AI가 혼자 실행하지 못하게 설정한다.
5. 기록을 보고, 정말 멈췄는지 확인한다. 조작 이력을 남기고 정기적으로 본다. OpenAI도 사내 사례에서 기록을 조사해 종료를 피한 사례가 없는지 확인했습니다.

맞춤형 GPT 등에서 「지시」를 쓰는 방법은 맞춤형 GPT 만드는 법 글도 참고하세요. AI 에이전트가 어디까지 왔는지는 OpenAI의 AGI 5단계 글에서 정리했습니다.

히카리짱의 정리AI를 무서워하기보다 멈추는 방법을 먼저 정해 두는 게 도움이 돼요. 멈추는 수단은 사람 쪽에 두고, 권한은 작게, 중요한 조작에는 사람의 확인을 넣는 것이 기본이에요.