Windows 98에서 Llama를 돌린 실험 다시 보기｜로컬 AI 지금
2024년 12월, EXO Labs가 Windows 98 컴퓨터에서 Llama 2 계열 모델을 돌렸습니다. 실제로 확인된 것과 그 뒤 로컬 AI의 변화, 지금 내 컴퓨터에서 AI를 돌리는 방법을 정리합니다.
글쓴이 Jeensuk Yang
HowtoAI · 로컬 AI · 다시 보기
?이런 분께 권합니다
- 「26년 전 컴퓨터에서 Llama가 돌아갔다」는 소식을 기억하고, 그 뒤가 궁금한 분
- ChatGPT 같은 AI를 인터넷 없이 내 컴퓨터에서 돌릴 수 있는지 궁금한 분
- 회사 자료나 고객 정보를 밖으로 내보내지 않고 AI로 다루는 방법을 찾는 분
!이 글에서 알 수 있는 것
- EXO Labs의 실험에서 실제로 무엇이 확인되었는지(BitNet과의 관계 포함)
- 2024년 12월부터 2026년 10월까지 로컬 AI에 어떤 변화가 있었는지
- 지금 일반 컴퓨터에서 돌리는 순서와, 모델 라이선스·개인정보 주의점
안녕하세요, 히카리예요.
2025년 1월에 일본어로 소개했던 「Windows 98 컴퓨터에서 Llama가 돌아갔다」는 이야기를 다시 살펴볼게요. 먼저 실험에서 실제로 확인된 것을 정리하고, 그 뒤 약 2년 동안의 변화를 따라가 볼게요. 마지막으로 지금 일반 컴퓨터에서 AI를 돌리는 방법과, 쓰기 전에 알아 둘 라이선스·개인정보 이야기를 전해 드릴게요.
Windows 98에서 Llama를 돌린 실험: EXO Labs가 보여 준 것
2024년 12월 28일, AI 스타트업 EXO Labs가 Windows 98 컴퓨터에서 대규모 언어 모델(LLM)의 구조를 돌리는 모습을 X(옛 트위터)에 올렸습니다. 이 회사 블로그 「12 days of EXO」 4일째 글에 자세한 순서와 숫자가 실려 있습니다. 저희는 2025년 1월에 이 소식을 일본어로 소개했습니다.
EXO의 블로그에 따르면 실험 내용은 다음과 같습니다.
- 컴퓨터는 Pentium II에 메모리 128MB를 단 Windows 98 기종으로, eBay에서 118.88파운드에 샀다.
- 파일은 이더넷 FTP를 통해 M4 탑재 MacBook Pro에서 보냈다.
- 컴파일러를 구하느라 고생했다. MinGW로는 돌아가지 않아 26년 전 Borland C++ 5.02를 썼고, Andrej Karpathy 씨의 작은 C 언어 프로그램 「llama2.c」를 옛 문법으로 고쳐 돌렸다. EXO는 이를 「llama98.c」로 공개했다.
- GPU는 쓰지 않고 CPU만으로 돌렸다.
| 모델 | 파라미터 수 | 속도(토큰/초) |
|---|---|---|
| stories260K | 26만 | 39.31 |
| stories15M | 1,500만 | 1.03 |
| Llama 3.2 1B | 10억 | 0.0093(일부 계산 결과와 디스크 읽기에서 추정한 값이며, 끝까지 돌려서 얻은 결과가 아님) |
토큰은 AI가 문장을 다룰 때 쓰는 단위로, 대략 단어나 기호 하나쯤입니다. 0.0093토큰/초는 하나를 내놓는 데 약 107초가 걸리는 속도입니다. 실용성은 없습니다. 이 실험의 가치는 「돌아갔다」는 사실을 보여 준 데 있습니다.
히카리짱의 정리Windows 98에서 실제로 돌아간 것은 아주 작은 모델이었어요. 1B 숫자는 추정치이고 BitNet 숫자는 다른 이야기라고 나눠서 읽으면 실험의 실제 모습이 또렷해져요.
그 뒤 약 2년: 로컬 AI 연표
「로컬 AI」란 클라우드가 아니라 내 컴퓨터 안에서 AI를 돌리는 것입니다. 2024년 12월부터 2026년 10월까지의 주요 움직임을 나열합니다.
| 시기 | 사건 |
|---|---|
| 2024년 12월 28일 | EXO Labs가 Windows 98 실험을 X에 게시. |
| 2025년 2월 18일 | Microsoft가 BitNet을 CPU에서 돌리는 추론 소프트웨어 「bitnet.cpp」 논문을 공개. |
| 2025년 4월 | Meta 「Llama 4」 등장. 멀티모달 모델에 대해 EU에 근거지를 둔 기업·개인에게는 권리를 인정하지 않는 라이선스가 화제가 되었다. |
| 2025년 4월 14일 | Microsoft가 첫 공식 BitNet 모델 「BitNet-b1.58-2B-4T」(24억 파라미터, 4조 토큰으로 학습)를 Hugging Face에 공개. |
| 2025년 5월 | Microsoft가 Windows에서 모델을 로컬로 돌리는 「Foundry Local」을 발표. 20일에는 BitNet의 GPU용 공식 커널도 공개. |
| 2025년 7월 8일 | 로컬 AI 앱 「LM Studio」가 업무 사용에 별도 상용 라이선스를 요구하지 않게 됨. |
| 2025년 8월 5일 | (미국 시간. 일본에서는 6일에 보도) OpenAI가 오픈 웨이트 모델 「gpt-oss-120b」「gpt-oss-20b」를 Apache 2.0 라이선스로 공개. 20b는 메모리 16GB에서 돌아간다고 설명되었다. |
| 2026년 1월 15일 | bitnet.cpp에 CPU용 최적화. 추가로 1.15~2.1배 빨라졌다고 보고. |
| 2026년 4월 2일 | Google이 「Gemma 4」를 공개. 라이선스가 Apache 2.0으로 바뀜. 작은 E2B·E4B는 스마트폰이나 라즈베리 파이용. |
| 2026년 4월 9일 | Microsoft가 「Foundry Local」 정식 제공을 시작. Windows, Apple Silicon 탑재 Mac, Linux에서 사용 가능. |
| 2026년 7월 | BitNet 관련으로 1비트 임베딩 모델과 CPU용 음성 인식 엔진 「VibeASR.cpp」를 공개. |
EXO Labs 자신은 옛 컴퓨터 실험에서, 여러 대의 컴퓨터와 Mac을 이어 큰 모델을 돌리는 소프트웨어 「exo」 개발 쪽으로 무게를 옮긴 듯합니다. 2026년 4월의 리뷰 글에 따르면 현재 README는 자동 기기 검색과 Thunderbolt 5를 통한 메모리 공유 등을 내세웁니다. 이 회사 채용 공고에는 「MacBook 한 대에서 수천 대 클러스터까지」라는 문구가 있습니다.
2024년 12월 무렵 로컬에서 돌아가는 AI라고 하면 성능이 제한된 작은 모델이 중심이었습니다. 지금은 OpenAI의 gpt-oss, Google의 Gemma 4, Alibaba의 Qwen3처럼 큰 회사들이 상업적 이용이 가능한 라이선스로 중간 크기 모델을 공개하고 있습니다. EXO의 실험이 보여 준 「큰 설비가 없어도 AI는 돌아간다」는 생각은, 작은 모델을 똑똑하게 만드는 경쟁으로 퍼졌다고 볼 수 있습니다.
히카리짱의 정리이 약 2년 사이 작은 모델이 똑똑해졌고, 무료 앱으로 돌릴 수 있게 되었어요. 로컬 AI는 실험에서 일상의 도구에 가까워지고 있어요.
2025년 글 다시 보기
2025년 1월 글(일본어)에 쓴 내용을 EXO의 블로그 같은 원자료와 그 뒤의 흐름에 비추어 확인합니다.
| 당시 쓴 내용 | 지금 돌아보면 | 판정 |
|---|---|---|
| 26년 전 Pentium II·Windows 98 컴퓨터에서 Llama 2 계열 모델이 돌아갔다 | EXO의 블로그에서 확인된다. 돌아간 것은 Llama 2의 구조를 쓴 작은 모델. | 맞음 |
| 260K 모델은 초당 약 36개, 15M 모델은 초당 약 1개 | EXO의 블로그에서는 39.31과 1.03. 36이라는 숫자는 원자료와 맞지 않는다. | 절반만 맞음 |
| Llama 3.2의 1B 모델은 초당 0.0093개 | 숫자는 원자료 그대로. 다만 추정치라는 점을 쓰지 않았다. | 절반만 맞음 |
| BitNet은 EXO Labs가 개발한 기술 | BitNet은 Microsoft의 기술이고, 공식 추론 소프트웨어 bitnet.cpp도 Microsoft가 공개했다. EXO는 해설했을 뿐이다. | 틀림 |
| BitNet이면 7B 모델이 약 1.38GB, 100B 모델이 CPU에서 초당 5~7토큰 | 숫자 자체는 자료에 있다. 다만 공개된 공식 모델은 약 24억 파라미터의 「2B4T」이고, 100B는 확인하지 못했다. | 절반만 맞음 |
| 비싼 GPU 없이도 AI를 돌리는 미래가 온다 | gpt-oss-20b는 메모리 16GB에서 돌아간다. Gemma 4 소형판은 스마트폰용. 방향은 맞았다. | 맞음 |
| 옛 컴퓨터도 작은 모델이면 돌아간다(그러니 누구나 쓸 수 있다) | 돌아가는 것과 업무에 쓸 수 있는 것은 별개였다. 실용의 기준은 지금 컴퓨터와 돌리는 모델의 크기. | 절반만 맞음 |
가장 큰 놓침은 「돌아갔다」와 「쓸 수 있다」를 나눠 쓰지 않은 것입니다.
당시 글은 실험의 재미와 가능성을 전하는 데 무게를 두었습니다. 하지만 독자에게 중요한 것은 내 컴퓨터에서 무엇이 돌아가는지, 권리는 괜찮은지, 데이터는 밖으로 나가지 않는지였습니다. 이어지는 세 장은 그 점을 보완하려고 썼습니다.
히카리짱의 정리실험 자체와 「GPU가 없어도 돌아간다」는 방향은 맞았어요. 틀린 건 BitNet의 개발사였고, 부족했던 건 「쓸 수 있는 조건」 설명이었어요.
내 컴퓨터에서 로컬 AI 돌리는 방법: Ollama·LM Studio
일반 Windows 컴퓨터나 Mac에서 로컬 AI를 시작하는 순서를 소개합니다. 무료 앱이 두 가지 있고, 둘 다 Windows·macOS에서 쓸 수 있습니다.
화면을 보면서 모델을 찾아 내려받고 채팅할 수 있는 앱입니다. 2025년 7월부터 업무 사용에 별도 상용 라이선스가 필요 없습니다. 처음이라면 이쪽이 맞습니다.
명령어로 모델을 돌리는 소프트웨어입니다. Windows, macOS, Linux를 지원합니다. 공식 페이지에는 「ollama run gemma4」처럼 한 줄로 실행하는 예가 있습니다.
Microsoft의 로컬 실행 기반입니다. 앱에 넣어 쓰는 것을 전제로 한 개발자용 SDK가 중심입니다. 앱 쪽에서 쓰고 있는 경우도 있습니다.
LM Studio로 시작하는 순서
- 공식 사이트(lmstudio.ai)에서 앱을 내려받아 설치한다
- 앱에서 모델을 검색하고, 컴퓨터 메모리에 들어가는 크기의 모델을 골라 내려받는다
- 내려받은 모델을 불러와 채팅 화면에서 한국어로 말을 걸어 본다
- 첫 답변이 나오면 Wi-Fi를 끄고도 돌아가는지 시험해 본다(돌아가면 클라우드를 쓰지 않는다는 표시입니다)
어느 정도 사양의 컴퓨터가 필요한가
모델은 메모리(Mac에서는 통합 메모리, Windows에서는 RAM이나 GPU의 VRAM)에 다 들어가는 크기가 기준입니다. 대략적인 계산으로 모델 파일 크기는 「파라미터 수 × 하나당 비트 수 ÷ 8」입니다. 예를 들어 70억 파라미터 모델을 4비트로 압축하면 약 3.5GB, BitNet의 1.58비트라면 약 1.4GB입니다. EXO 블로그의 「7B에서 1.38GB」와도 맞습니다. 실제로는 이 밖에 작업용 메모리도 필요합니다.
| 목적 | 기준 |
|---|---|
| 먼저 써 보기 | 수십억 파라미터의 작은 모델. Gemma 4의 E2B·E4B는 스마트폰이나 라즈베리 파이용으로 공개되어 있다. |
| 업무 초안·요약 | gpt-oss-20b는 OpenAI 설명으로 메모리 16GB 기기에서 돌아간다. 메모리 16GB 이상 컴퓨터가 출발점. |
| 큰 모델 | gpt-oss-120b는 단일 80GB GPU가 전제. 개인 컴퓨터로는 어렵다. |
돌려 보면 먼저 속도에 놀랄 수도 있습니다. 클라우드의 ChatGPT처럼 긴 글이 바로 나오지 않습니다. 메모리에 들어가는 범위여도 GPU가 없는 컴퓨터에서는 한 글자씩 표시되는 속도가 될 수 있습니다. 그럴 때는 한 단계 작은 모델로 바꾸면 대개 나아집니다. 또 로컬 모델은 최신 뉴스를 모릅니다. 최신 정보가 필요한 작업은 클라우드 AI나 검색과 나눠 쓰세요.
히카리짱의 정리먼저 LM Studio를 설치해서 작은 모델로 써 보세요. 메모리가 16GB라면 gpt-oss-20b도 후보에 들어와요.
로컬 AI 모델의 라이선스와, 업무에 쓸 때의 주의점
로컬 AI 모델은 무료로 구할 수 있습니다. 하지만 「무료」와 「업무에서 자유롭게 쓸 수 있다」는 같지 않습니다. 모델마다 라이선스가 다르니 업무에 쓰기 전에 확인하세요.
| 모델 | 라이선스 | 업무에 쓸 때의 주의 |
|---|---|---|
| gpt-oss(OpenAI) | Apache 2.0 | 상업적 이용과 재배포가 인정된다. |
| Gemma 4(Google) | Apache 2.0(Gemma 4부터) | 이전에는 독자 라이선스였으나 Gemma 4에서 바뀌었다. 옛 Gemma를 쓸 때는 그 모델의 조건을 따로 확인한다. |
| Qwen3(Alibaba) | Apache 2.0 | Qwen3 공식 블로그에서 오픈 웨이트 모델은 Apache 2.0이라고 되어 있다. |
| Llama 4(Meta) | Llama 4 Community License | 월간 사용자가 7억 명을 넘는 기업은 별도 라이선스가 필요. 「Built with Llama」 표시 등의 조건이 있다. 멀티모달 모델은 EU에 근거지를 둔 기업·개인에 대한 권리가 제한된다. |
| BitNet(Microsoft) | MIT(bitnet.cpp 저장소) | 모델별 조건은 공개 페이지에서 확인한다. |
라이선스는 모델의 「사용 방법」을 정하는 것입니다. 모델이 쓴 글이나 이미지가 남의 저작물과 비슷해질 가능성은 별개의 문제로 남습니다. 로컬에서 돌려도 출력을 확인하는 수고는 그대로입니다. 외부에 내는 자료에 쓰기 전에 숫자·고유명사·인용을 원자료로 확인하세요.
한국에서는 2026년 1월 22일부터 「인공지능기본법」이 시행되었습니다. 다만 이 법이 로컬 AI 모델의 라이선스 해석을 정해 주는 것은 아니며, 라이선스 조문은 계약 문제로 따로 판단해야 합니다. 계약이나 큰 건에 쓸 때는 전문가와 상담하는 것이 안전합니다.
히카리짱의 정리업무에 쓸 거라면 모델 라이선스를 먼저 보는 습관을 들이세요. Apache 2.0이면 제한이 적고, Llama에는 기업용 조건이 있어요.
로컬 AI의 개인정보 보호와, AI PC(NPU) 고르는 법
로컬 AI의 가장 큰 장점은 입력한 글이 컴퓨터 밖으로 나가지 않는다는 점입니다. 고객 이름이나 견적, 사내 회의록처럼 클라우드 서비스에 넣기 어려운 글을 다룰 때 도움이 됩니다. LM Studio는 공식 블로그에서 「집에서도 직장에서도 무료」라고 안내하며, 개인정보 처리방침은 바꾸지 않는다고 밝혔습니다.
- 인터넷을 끊고도 돌아가는지 확인한다.답변이 나오면 글이 컴퓨터 안에서 처리되고 있는 것입니다
- 「클라우드」 모델을 고르지 않는다.Ollama 등에는 클라우드에서 도는 모델도 함께 나열됩니다. 이름에 「cloud」가 붙은 것은 밖으로 전송됩니다
- 사내 규정을 확인한다.로컬에서 돌려도 어떤 소프트웨어를 설치해도 되는지는 회사가 정하는 경우가 있습니다
- 대화 기록 저장 위치에 주의한다.앱은 채팅 기록을 컴퓨터에 남기기도 합니다. 공용 컴퓨터에서는 삭제 방법을 확인하세요
EXO의 실험이 알려 주는 것은, AI의 성능이 「무엇을 돌리느냐」뿐 아니라 「어디서 돌리느냐」에도 좌우된다는 점입니다. 클라우드는 간편하고 강력하지만 데이터를 맡기게 됩니다. 손안의 AI는 작은 만큼 힘은 떨어져도 정보를 맡기지 않아도 됩니다. 다루는 정보의 무게에 맞춰 둘을 나눠 쓰는 것이 현실적입니다.
AI PC(Copilot+ PC)는 필요한가
Copilot+ PC는 초당 40조 회 이상 연산할 수 있는(40 TOPS 이상) NPU를 단 Windows 11 컴퓨터로, 조건으로 메모리 16GB와 저장공간 256GB가 거론됩니다. 메모장이나 그림판 등의 기능이 컴퓨터 안에서 돌아갑니다. 자세한 내용은 Windows 11 AI 기능 글에 정리해 두었습니다.
여기까지 소개한 Ollama와 LM Studio는 NPU가 없어도 쓸 수 있습니다. 먼저 지금 가진 컴퓨터로 시험하고, 메모리가 부족하다고 느끼면 교체를 생각하는 순서로 충분합니다. 컴퓨터를 산다면 모델 크기와 직결되는 메모리 용량을 가장 먼저 보세요. ChatGPT 같은 클라우드 AI와의 구분은 ChatGPT 모델 차이 글이 참고가 됩니다.
히카리짱의 정리로컬 AI는 글을 밖으로 내보내지 않고 쓸 수 있다는 게 강점이에요. 먼저 지금 컴퓨터로 시험해 보고, 모자라면 메모리를 중시해서 골라 보세요.
로컬 AI·EXO Labs에 대해 자주 묻는 질문
Windows 98 컴퓨터에서 지금도 ChatGPT 같은 AI를 쓸 수 있나요?
쓸 수 없습니다. EXO Labs가 돌린 것은 이야기를 만드는 정도의 작은 모델입니다. Llama 3.2의 1B 모델도 추정 초당 0.0093토큰이었습니다.
BitNet이란 무엇인가요?
모델의 가중치를 세 가지 값(-1, 0, 1)으로 나타내 계산을 가볍게 하는 방식입니다. Microsoft가 공식 추론 소프트웨어 bitnet.cpp와 약 24억 파라미터 모델을 공개했습니다.
로컬 AI는 업무에 써도 안전한가요?
입력한 글이 밖으로 나가지 않는다는 점에서는 클라우드보다 안전합니다. 다만 모델 라이선스와 출력의 정확성 확인은 따로 필요합니다. 회사 규정도 먼저 확인하세요.
로컬 AI를 돌리는 데 GPU가 필요한가요?
필수는 아닙니다. CPU와 메모리만으로도 돌아가지만, 속도는 GPU가 있는 쪽이 잘 나옵니다. 메모리가 모자라면 큰 모델은 불러올 수 없습니다.
SOURCES
- EXO Labs 「Running LLMs on Windows 98」(12 days of EXO 4일째)(2026년 10월 26일 확인) blog.exolabs.net/day-4
- EXO Labs(@exolabs)의 X 게시물(2024년 12월 28일) x.com/exolabs/status/1873103218596811059
- Microsoft 「BitNet(bitnet.cpp)」 GitHub 저장소(2026년 10월 26일 확인) github.com/microsoft/BitNet
- Impress Watch 「OpenAI、オープンウェイトのAIモデル「gpt-oss」を公開」(일본어, 2025년 8월 6일) watch.impress.co.jp/docs/news/2037179.html
- GIGAZINE(일본어, 2025년 8월 6일) gigazine.net/news/20250806-openai-gpt-oss
- 9to5Google 「Google Gemma 4」(2026년 4월 2일) 9to5google.com/2026/04/02/google-gemma-4
- The Decoder 「Gemma 4 is now available with Apache 2.0 licensing for the first time」(2026년 4월) the-decoder.com
- Qwen 「Qwen3」 공식 블로그 qwenlm.github.io/blog/qwen3
- The Decoder 「Meta releases first multimodal Llama 4 models, leaves EU out in the cold」(2025년 4월) the-decoder.com
- Meta 「Llama FAQ」(2026년 10월 26일 확인) developer.meta.com/ai/faq
- LM Studio 「LM Studio is free for use at work」(2025년 7월 8일) lmstudio.ai/blog/free-for-work
- Ollama 다운로드 페이지(2026년 10월 26일 확인) ollama.com/download
- Ollama GitHub 저장소(2026년 10월 26일 확인) github.com/ollama/ollama
- Microsoft Foundry Blog 「Foundry Local is generally available」(2026년 4월 9일) devblogs.microsoft.com/foundry/foundry-local-ga
- TechCrunch 「Microsoft gives its AI dev tools for Windows a fresh coat of paint」(2025년 5월 19일) techcrunch.com
- EXO 리뷰 글(2026년 4월 2일) aicoolies.com/reviews/exo-review
- EXO Labs 채용 페이지(2026년 10월 26일 확인) team.exolabs.net/founding-researcher
- 서울뉴스 「과학기술정보통신부, 1월 22일부터 AI기본법 시행」(2026년 1월) newsseoul.co.kr
「HowtoAI」는 2024년부터 multifverse.com 에서 일본어로 이어 온 AI 활용 해설 시리즈입니다. 저희 회사 사명이 따뜻한기술(ATATAKAI Digital)로 바뀌어서, 2026년 10월부터 블로그의 한 카테고리로 이어 갑니다. 계속해서 많은 관심과 사랑 부탁드립니다.
AI를, 어떤 일에 어떻게 쓸 것인가.
클라우드 AI와 내 컴퓨터에서 돌리는 AI를 어떻게 나눠 쓸지. 다루는 데이터와 업무에 맞춰 함께 생각합니다.
따뜻한기술에 상담하기
최종 수정 2026년 10월 26일
