컴퓨터 사용 (AI가 화면을 조작하는 기능)
영어 Computer use · 일본어 コンピューター・ユース · 읽는 법 컴퓨터 유즈
컴퓨터 사용은 AI가 화면을 찍어 보고 마우스 클릭과 키보드 입력으로 프로그램이나 웹사이트를 직접 조작하는 기능입니다. 사람 손을 덜어 주지만 잘못 누를 수 있어 사람이 지켜봐야 합니다.
HowtoAI 글에서는 ChatGPT Windows 앱에서 플러그인을 허용하면 쓸 수 있는 「Computer Use(컴퓨터 조작)」와, Anthropic·Google이 개발자에게 내놓은 화면 조작 AI의 흐름을 설명하며, 민감한 앱은 닫아 두고 전송·결제는 직접 확인하라는 주의와 함께 나옵니다.
확인 2026-10-26출처 Anthropic 「computer use, Claude 3.5 Sonnet, Claude 3.5 Haiku 발표」 (2024-10-22)
1이 말, 이런 곳에서 만납니다
처음 보는 말이 낯선 것은 당연합니다. 대개 이런 자리에서 마주칩니다.
HowtoAI 글 「ChatGPT Windows 앱 사용법」
플러그인을 설치하고 허용하면 ChatGPT가 화면을 보고 클릭하거나 입력하면서 앱을 조작하며, 전송·결제·설정 변경은 그때마다 직접 확인하라는 안내입니다.
Anthropic의 개발자 문서 「Computer use tool」 (요지)
권한을 최소로 한 전용 가상 컴퓨터에서 쓰고, 로그인 정보 같은 민감한 자료는 맡기지 말며, 결제나 약관 동의처럼 실제 결과가 따르는 일은 사람이 확인하도록 권합니다.
직원이 사장님에게 보내는 메시지 (예)
“AI에게 거래처 사이트에서 지난달 청구서를 내려받게 했는데, 마지막 다운로드 버튼은 제가 확인하고 눌렀습니다.”
2한 장면으로 이해하기
컴퓨터 사용은 내 컴퓨터 앞에 새로 온 아르바이트생을 앉혀 두는 것과 같습니다. 화면을 보며 시키는 대로 클릭하고 입력하지만, 아직 일이 서툴러 버튼을 잘못 누르기도 하고, 화면에 적힌 낯선 사람의 지시를 따라 버릴 수도 있습니다. 그래서 금고 열쇠는 맡기지 않고, 돈이 나가는 버튼은 옆에서 직접 확인합니다.
대신 클릭해 주는 손이지, 혼자 맡겨 둘 직원은 아닙니다.
3우리 회사도 해당될까요?
이런 경우 해당됩니다
- ChatGPT나 Claude 같은 AI 앱에 화면 조작이나 컴퓨터 조작 기능을 켜려고 한다
- 매번 같은 사이트에 들어가 같은 칸을 채우는 반복 작업을 AI에게 맡기고 싶다
- 제작사가 AI가 웹사이트를 대신 조작하는 자동화를 제안했다
이런 경우는 걱정을 덜어도 됩니다
- AI에게 질문하고 답을 글로 받기만 한다(화면을 조작하지 않습니다)
- 정해진 프로그램 연결(API)로 이미 자동화가 되어 있다(화면 조작보다 그쪽이 더 안정적입니다)
AI가 화면을 직접 만지므로, 그 화면에서 할 수 있는 일은 AI도 할 수 있다고 생각하고 맡기는 범위를 좁혀 두세요.
4조금 더 자세히
컴퓨터 사용은 AI가 화면 사진(스크린샷)을 보고 「여기를 누르고 이 글자를 입력한다」는 조작을 정해, 마우스와 키보드를 대신 움직이는 방식입니다. 조작 한 번마다 새 화면을 다시 찍어 보고 다음 조작을 정합니다. 2024년 10월 Anthropic이 개발자용 공개 베타로 내놓았고, Google의 Gemini API와 ChatGPT 앱에도 같은 종류의 기능이 있습니다. 옆자리 직원이 내 화면을 보며 대신 클릭해 주는 것과 비슷합니다.
주의할 점 Anthropic과 Google은 이 기능을 다른 일과 떨어진 가상 컴퓨터에서 쓰고, 결제·약관 동의·메시지 전송처럼 되돌리기 어려운 일은 사람이 확인하라고 권합니다. 웹페이지 안에 숨은 지시를 AI가 따라 버릴 수 있기 때문입니다. 로그인 정보나 고객 자료가 열린 화면에서는 맡기지 않는 편이 안전합니다.
5그래서 무엇을 하면 되나요?
- 1AI에게 화면을 맡기기 전에 은행, 관리자 화면, 고객 명단 같은 민감한 앱과 탭은 닫아 둡니다.사장님
- 2결제, 메시지 전송, 약관 동의, 설정 변경은 AI가 승인을 요청할 때 내용을 읽고 사람이 직접 확인합니다.사장님
- 3업무 자동화에 이 기능을 쓴다면 회사 컴퓨터가 아닌 따로 떼어 둔 가상 컴퓨터에서 돌리고, 들어갈 수 있는 사이트를 정해 둡니다.제작사
제작사에 이렇게 물어보세요
“이 자동화는 AI가 우리 컴퓨터 화면을 직접 조작하나요? 어떤 환경에서 돌리고, 결제나 전송 같은 조작 전에 사람이 확인하는 단계가 있는지 알려 주세요.”
6자주 묻는 질문
Q. AI 에이전트와 같은 말인가요?
조금 다릅니다. AI 에이전트는 스스로 여러 단계를 이어서 일하는 AI를 넓게 부르는 말이고, 컴퓨터 사용은 그중 화면을 보고 마우스와 키보드로 조작하는 방법을 가리킵니다. ChatGPT 에이전트처럼 에이전트가 이 기능을 품고 있는 경우가 많습니다.
Q. AI가 엉뚱한 버튼을 누르면 어떻게 하나요?
Anthropic도 발표 때 이 기능이 아직 실험 단계라 실수가 잦을 수 있다고 적었습니다. 처음에는 되돌릴 수 있는 쉬운 일부터 맡기고, 돈이나 계약에 관련된 조작은 AI가 확인을 요청할 때 사람이 직접 판단합니다.
7이 풀이의 근거
- 출처
Anthropic 「computer use, Claude 3.5 Sonnet, Claude 3.5 Haiku 발표」 (2024-10-22) (확인 2026-10-26)
Anthropic 개발자 문서 「Computer use tool」 (확인 2026-10-26)
Google Gemini API 문서 「Computer use」 (확인 2026-10-26)
- 확인한 날
- 2026-10-26 · 다음 확인 2027-01-26
- 풀이
- 양진석 · 따뜻한기술 대표
이 정의를 인용하려면
“컴퓨터 사용은 AI가 화면을 찍어 보고 마우스 클릭과 키보드 입력으로 프로그램이나 웹사이트를 직접 조작하는 기능입니다. 사람 손을 덜어 주지만 잘못 누를 수 있어 사람이 지켜봐야 합니다.” — 용어집 「컴퓨터 사용 (AI가 화면을 조작하는 기능)」 (확인 2026-10-26), atatakaidigital.com/kr/glossary/computer-use