온디바이스 AI (내 기기에서 돌리는 AI)
영어 On-device AI · 일본어 オンデバイスAI（端末の中で動くAI） · 읽는 법 온디바이스 에이아이
온디바이스 AI는 멀리 있는 서버가 아니라 내 스마트폰이나 컴퓨터 안에서 직접 돌아가는 AI입니다. 입력한 자료가 기기 밖으로 나가지 않아 개인정보를 지키기 쉽고, 인터넷 없이도 쓸 수 있습니다.
HowtoAI 글에서는 「온디바이스 AI」라는 말보다 「기기 안에서 하는 AI 처리」「로컬 AI」「로컬 모델」로 나오며, Windows의 Copilot+ PC 기능과 내 컴퓨터에서 AI 모델을 돌리는 실험을 설명할 때 클라우드 AI와 맞세워 쓰였습니다.
확인 2026-10-28출처 Android 개발자 문서 「Gemini Nano」
1이 말, 이런 곳에서 만납니다
처음 보는 말이 낯선 것은 당연합니다. 대개 이런 자리에서 마주칩니다.
HowtoAI 글 「Windows 98 AI 실험」의 개인정보 설명
로컬 AI의 가장 큰 장점은 입력한 글이 컴퓨터 밖으로 나가지 않는다는 점이라는 설명입니다.
HowtoAI 글 「Windows 11 AI 기능」의 사용 조건
Windows 11의 AI 기능은 컴퓨터 안의 AI 전용 칩(NPU)으로 돌아가는 것과 Microsoft 클라우드에서 돌아가는 것으로 나뉜다는 설명입니다.
HowtoAI 글 「CES 2025 AI 트렌드」의 되짚어 보기
Copilot+ PC와 NPU 탑재 PC로 기기 안에서 하는 AI 처리가 늘어난다는 전망입니다.
스마트폰이나 컴퓨터의 AI 기능 설정 화면 (예)
‘이 기능은 기기에서 처리됩니다’ 또는 ‘더 큰 모델을 쓰려면 서버로 보냅니다’ 같은 안내
2한 장면으로 이해하기
온디바이스 AI는 배달 대신 집 부엌에서 직접 요리하는 것과 같습니다. 식당(클라우드)만큼 화려한 요리는 어렵지만, 재료가 집 밖으로 나가지 않고 배달을 기다릴 필요도 없습니다.
작은 부엌이라도, 재료는 집 안에 남습니다.
3우리 회사도 해당될까요?
이런 경우 해당됩니다
- 고객 이름이나 견적, 회의록처럼 밖에 내보내기 어려운 자료를 AI로 다루고 싶다
- 인터넷이 끊기는 곳이나 느린 곳에서도 AI 기능을 쓰고 싶다
- 스마트폰이나 Copilot+ PC의 ‘기기에서 처리’ 기능이 무엇인지 알고 싶다
이런 경우는 걱정을 덜어도 됩니다
- 최신 뉴스나 넓은 지식이 필요한 질문을 한다(기기 안의 모델은 최신 정보를 모릅니다)
- 긴 보고서 작성처럼 큰 모델의 힘이 필요한 일이다
‘기기에서 처리’라고 적혀 있어도 대화 기록이나 일부 작업은 서버에 저장될 수 있으니, 서비스 안내를 확인합니다.
4조금 더 자세히
온디바이스 AI는 AI 계산을 멀리 있는 회사 서버(클라우드)에 맡기지 않고, 내 스마트폰이나 컴퓨터 안에서 직접 하는 방식입니다. 배달 대신 집 부엌에서 요리하는 것과 같아서, 재료(내 자료)가 집 밖으로 나가지 않고 기다릴 필요도 없습니다. Google의 Android 개발자 문서는 기기 안의 AI가 민감한 자료를 기기에 남겨 개인정보를 지키고, 인터넷 없이도 쓰며, 계산 비용을 줄인다고 설명합니다. Apple도 기기 안의 모델과 서버의 큰 모델을 나누어 둡니다.
주의할 점 기기 안의 모델은 작아서 클라우드 AI보다 힘이 약하고, 속도도 기기 성능에 따라 다릅니다. 일부만 기기에서 처리하고 나머지는 서버로 보내는 기능도 있으니, 고객 정보를 다룰 때는 설정에서 어디까지 기기 안에서 처리되는지 확인합니다. Copilot+ PC처럼 AI 전용 칩(NPU)이 있어야 켜지는 기능도 있습니다.
5그래서 무엇을 하면 되나요?
- 1AI 기능 설정에서 기기 안에서 처리되는지, 서버로 보내는지 표시를 확인합니다.사장님
- 2고객 정보를 넣기 전에, 인터넷을 끊어도 그 기능이 동작하는지 시험해 봅니다.사장님 + 제작사
- 3회사에서 쓰는 AI 도구별로 ‘기기 처리’와 ‘클라우드 처리’를 나누어 적은 목록을 만듭니다.제작사
제작사에 이렇게 물어보세요
“우리가 쓰는 이 AI 기능은 자료를 기기 안에서 처리하나요, 아니면 서버로 보내나요? 대화 기록은 어디에 저장되는지 알려 주세요.”
6자주 묻는 질문
Q. 온디바이스 AI는 클라우드 AI보다 성능이 떨어지나요?
대체로 그렇습니다. 기기 안에 들어가는 모델은 작아서 힘이 약하고, 속도도 기기 성능에 따라 다릅니다. 대신 자료가 밖으로 나가지 않고 인터넷 없이도 씁니다. 다루는 정보의 무게에 따라 둘을 나눠 쓰는 것이 현실적입니다.
Q. 기기에서 처리된다고 하면 자료가 전혀 밖으로 안 나가나요?
기능에 따라 다릅니다. 일부 작업만 기기에서 하고 나머지는 서버로 보내거나, 대화 기록을 서버에 저장하는 경우가 있습니다. 서비스의 개인정보 안내와 설정 화면을 확인하세요.
7이 풀이의 근거
- 출처
Android 개발자 문서 「Gemini Nano」 (확인 2026-10-28)
Apple 기계학습 연구 「Apple의 온디바이스·서버 기반 모델 소개」 (확인 2026-10-28)
Apple 「Apple Intelligence와 Siri」 공식 페이지 (확인 2026-10-28)
Microsoft Learn 「Copilot+ PC 개발자 안내」 (확인 2026-10-28)
- 확인한 날
- 2026-10-28 · 다음 확인 2027-01-26
- 풀이
- 양진석 · 따뜻한기술 대표
이 정의를 인용하려면
“온디바이스 AI는 멀리 있는 서버가 아니라 내 스마트폰이나 컴퓨터 안에서 직접 돌아가는 AI입니다. 입력한 자료가 기기 밖으로 나가지 않아 개인정보를 지키기 쉽고, 인터넷 없이도 쓸 수 있습니다.” — 용어집 「온디바이스 AI (내 기기에서 돌리는 AI)」 (확인 2026-10-28), atatakaidigital.com/kr/glossary/on-device-ai
8이어서 알아 두면 좋은 말
- NPU (AI 계산에 특화된 칩)
- 대규모 언어 모델 (LLM)
- 오픈웨이트 (학습된 모델 가중치를 공개한 모델; 오픈소스와의 차이)
- 생성형 AI (글·이미지·음악·영상을 새로 만들어 내는 AI)