증류 (큰 모델을 작은 모델로 옮기는 방법)
영어 Distillation (knowledge distillation) · 일본어 蒸留（大きなモデルの力を小さなモデルに移す方法） · 읽는 법 조류
증류는 큰 AI 모델이 낸 답을 교재 삼아 작은 모델을 다시 가르치는 방법입니다. 비싼 서버 없이 노트북에서도 돌릴 수 있는 가벼운 모델을 만들 때 쓰입니다.
HowtoAI 글에서는 DeepSeek R1을 내 컴퓨터에서 돌리는 방법, Meta가 Llama 3.1의 라이선스를 바꾼 이유, Microsoft가 다른 회사 모델에서 증류하지 않았다고 밝힌 대목을 전할 때 나옵니다.
확인 2026-10-26출처 논문 「Distilling the Knowledge in a Neural Network」(Geoffrey Hinton·Oriol Vinyals·Jeff Dean, arXiv 1503.02531, 2015-03-09)
1이 말, 이런 곳에서 만납니다
처음 보는 말이 낯선 것은 당연합니다. 대개 이런 자리에서 마주칩니다.
HowtoAI 글 「DeepSeek과 ChatGPT 비교」의 내 컴퓨터에서 돌리기
개인이 시험해 본다면 R1을 작게 줄인 증류 모델이며, Qwen이나 Llama를 바탕으로 한 별개의 모델이라 R1 자체가 아니라는 설명입니다.
HowtoAI 글 「Meta Llama 3.1 공개」의 라이선스 변경
모델의 출력을 다른 모델을 개선하는 데 쓸 수 있게 되었고, 합성 데이터 생성과 증류가 목적이라는 내용입니다.
AI 모델 내려받기 페이지 (예)
「DeepSeek-R1-Distill-Llama-8B」처럼 원래 모델 이름과 바탕 모델 이름이 함께 붙은 목록
2한 장면으로 이해하기
증류는 두꺼운 전공서를 요점 노트로 줄이는 일에 비유할 수 있습니다. 노트는 가볍고 들고 다니기 쉬워 시험 준비에는 충분할 때가 많지만, 전공서에 있던 세부 내용은 빠집니다. 그리고 노트를 누가 썼는지, 어느 책을 바탕으로 했는지에 따라 내용이 달라집니다.
가볍고 빠르지만, 원래 책과 같은 것은 아닙니다.
3우리 회사도 해당될까요?
이런 경우 해당됩니다
- AI 모델을 내 컴퓨터에서 직접 돌려 보고 싶다
- 모델 이름에 「Distill」이나 「증류」가 붙어 있어 원래 모델과 무엇이 다른지 궁금하다
- 제작사가 작은 AI 모델을 써서 비용을 줄이겠다고 제안한다
이런 경우는 걱정을 덜어도 됩니다
- 술이나 물을 끓여 만드는 증류 이야기다(AI와는 다른 뜻입니다)
- 모델의 크기 자체가 궁금하다(‘파라미터’ 페이지를 보세요)
증류 모델은 가볍고 싸게 돌릴 수 있는 대신 원래 모델보다 할 수 있는 일이 좁을 수 있습니다. 내 업무에 충분한지는 직접 써 보고 판단합니다.
4조금 더 자세히
증류는 크고 똑똑한 모델을 선생으로, 작고 가벼운 모델을 학생으로 두고, 선생이 낸 답을 교재 삼아 학생을 다시 가르치는 방법입니다. 학생은 선생만큼 많이 알지는 못해도 답하는 방식을 상당 부분 따라 배웁니다. 두꺼운 전공서를 요점 노트로 줄이는 일과 비슷합니다. 큰 모델은 비싼 서버가 필요하지만, 증류한 작은 모델은 개인 컴퓨터에서도 돌릴 수 있습니다.
주의할 점 증류 모델은 원래 모델과 같은 것이 아닙니다. DeepSeek은 R1의 답으로 Qwen과 Llama를 다시 학습시킨 작은 모델들을 공개했는데, 이름에 R1이 붙어 있어도 바탕은 다른 모델이고 성능도 다릅니다. 또 모델마다 라이선스가 달라서, Meta는 Llama 3.1부터 모델의 답을 다른 모델 개선에 써도 된다고 바꿨습니다. 쓰기 전에 원래 모델의 라이선스를 확인합니다.
5그래서 무엇을 하면 되나요?
- 1모델 이름에 「Distill」이 붙어 있으면, 바탕이 된 모델이 무엇인지와 원래 모델과 성능이 다르다는 점을 내려받기 페이지에서 먼저 확인합니다.사장님
- 2증류 모델을 쓸 때는 원래 모델과 바탕 모델 양쪽의 라이선스를 확인해, 상업적으로 써도 되는지 고객에게 알려 줍니다.제작사
- 3작은 모델로 바꾸자고 제안할 때는, 고객의 실제 문서나 질문으로 큰 모델과 결과를 나란히 비교해 보여 줍니다.제작사
제작사에 이렇게 물어보세요
“제안해 주신 AI 모델은 증류한 작은 모델인가요? 바탕이 된 모델과 라이선스는 무엇이고, 우리 업무로 원래 모델과 비교해 본 결과가 있나요?”
6자주 묻는 질문
Q. 증류 모델은 원래 모델과 같은 성능인가요?
같지 않습니다. 큰 모델의 답으로 작은 모델을 다시 가르친 것이라 가볍고 빠르지만, 할 수 있는 일은 원래 모델보다 좁을 수 있습니다. DeepSeek R1의 증류 모델도 Qwen이나 Llama를 바탕으로 한 별개의 모델입니다.
Q. 아무 모델의 답으로나 증류해도 되나요?
모델마다 라이선스가 다릅니다. Meta는 Llama 3.1부터 모델의 출력을 다른 모델 개선에 쓸 수 있다고 바꿨고, DeepSeek은 R1 시리즈의 증류를 허용한다고 밝혔습니다. 다른 모델은 각 회사의 약관을 직접 확인해야 합니다.
7이 풀이의 근거
- 출처
논문 「Distilling the Knowledge in a Neural Network」(Geoffrey Hinton·Oriol Vinyals·Jeff Dean, arXiv 1503.02531, 2015-03-09) (확인 2026-10-26)
DeepSeek-R1 GitHub 저장소: R1이 만든 예시로 Qwen2.5·Llama 3.1·3.3 바탕 모델을 다시 학습한 DeepSeek-R1-Distill 모델과 라이선스 (확인 2026-10-26)
Meta 발표문 「Introducing Llama 3.1: Our most capable models to date」(2024-07-23): 출력을 다른 모델 개선에 쓸 수 있게 한 라이선스 변경과 모델 증류 (확인 2026-10-26)
Ollama 모델 페이지 「deepseek-r1」: 증류 모델의 크기별 배포(8b 5.2GB, 32b 20GB 등) (확인 2026-10-26)
- 확인한 날
- 2026-10-26 · 다음 확인 2027-01-26
- 풀이
- 양진석 · 따뜻한기술 대표
이 정의를 인용하려면
“증류는 큰 AI 모델이 낸 답을 교재 삼아 작은 모델을 다시 가르치는 방법입니다. 비싼 서버 없이 노트북에서도 돌릴 수 있는 가벼운 모델을 만들 때 쓰입니다.” — 용어집 「증류 (큰 모델을 작은 모델로 옮기는 방법)」 (확인 2026-10-26), atatakaidigital.com/kr/glossary/distillation