MoE（専門家混合モデル）
英語 MoE (mixture of experts)
MoEは、AIモデルの中を複数の小さな「専門家」に分け、入力ごとにその一部だけを選んで働かせる方式です。モデル全体は大きくしつつ、一度に使う計算を減らせます。
MoEモデルの中には「専門家」と呼ばれる小さな計算のまとまりが複数あり、案内役の部分が、入ってきた文字のかけらごとにどの専門家に任せるかを選びます。大きな病院の受付が、患者を症状に合った診療科の二つほどにだけ回すのに似ています。Mistral AIのMixtralは専門家8つのうち2つを選んで使い、全体467億パラメータのうち一度に使うのは129億だと説明しています。
気をつけたい点 MoEモデルは「全体のパラメータ数」だけでは性能や費用を判断しにくいです。実際に一度に使う量が別にあるからです。また選ばれない専門家も含めてすべてメモリに載せる必要があるため、自分のパソコンで動かすときに要るメモリは全体の大きさを基準に考えます。
出典: Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer · Mixtral of experts · Two in-house models in support of our mission（確認 2026-10-26）