蒸留（大きなモデルの力を小さなモデルに移す方法）
英語 Distillation (knowledge distillation)
蒸留は、大きなAIモデルが出した答えを教材にして、小さなモデルを学習し直す方法です。高価なサーバーなしでノートPCでも動く軽いモデルを作るときに使われます。
蒸留は、大きく賢いモデルを先生、小さく軽いモデルを生徒として、先生が出した答えを教材に生徒を学習し直す方法です。生徒は先生ほど多くを知らなくても、答え方のかなりの部分をまねて身につけます。分厚い専門書を要点ノートにまとめる作業に似ています。大きなモデルには高価なサーバーが要りますが、蒸留した小さなモデルは個人のパソコンでも動かせます。
気をつけたい点 蒸留モデルは元のモデルと同じものではありません。DeepSeekはR1の答えでQwenやLlamaを学習し直した小さなモデルを公開しましたが、名前にR1と付いていても土台は別のモデルで、性能も違います。またモデルごとにライセンスが異なり、MetaはLlama 3.1から、モデルの出力をほかのモデルの改良に使ってよいと変更しました。使う前に元のモデルのライセンスを確かめます。
出典: Distilling the Knowledge in a Neural Network · deepseek-ai/DeepSeek-R1 · Introducing Llama 3.1: Our most capable models to date · deepseek-r1（確認 2026-10-26）