Windows 98でLlamaを動かした実験の答え合わせ｜ローカルAIの今

Windows 98でLlamaを動かした実験：EXO Labsが示したこと

2024年12月28日、AIスタートアップのEXO Labsが、Windows 98のパソコンで大規模言語モデル（LLM）の仕組みを動かした様子をX（旧Twitter）に投稿しました。同社のブログ「12 days of EXO」の4日目の記事に、詳しい手順と数字が載っています。私たちは2025年1月、この話題を日本語で紹介しました。

EXOのブログによると、実験の中身は次のとおりです。

• パソコンはPentium IIとメモリ128MBのWindows 98機で、eBayで118.88ポンドで買った。
• ファイルはEthernet経由のFTPで、M4搭載のMacBook Proから送った。
• コンパイラの確保に苦労した。MinGWでは動かず、26年前のBorland C++ 5.02を使い、Andrej Karpathy氏の小さなC言語プログラム「llama2.c」を古い書き方に直して動かした。EXOはこれを「llama98.c」として公開している。
• GPUは使わず、CPUだけで動かした。

トークンとは、AIが文章を扱うときの単位で、おおまかに単語や記号ひとつ分です。0.0093トークン/秒は、1個を出すのに約107秒かかる速さです。実用にはなりません。この実験の価値は、「動いた」という事実を見せたことにあります。

ヒカリちゃんのまとめWindows 98で実際に動いたのは、とても小さなモデルでした。1Bの数字は推定値で、BitNetの数字は別の話だと分けて読むと、実験の姿がはっきりします。

その後の約2年：ローカルAIの年表

「ローカルAI」とは、クラウドではなく自分のパソコンの中でAIを動かすことです。2024年12月から2026年10月までの主な動きを並べます。

EXO Labs自身は、古いパソコンの実験から、複数のパソコンやMacをつないで大きなモデルを動かすソフト「exo」の開発に軸足を移しているようです。2026年4月のレビュー記事によると、現在のREADMEは自動の機器検出やThunderbolt 5によるメモリ共有などを掲げています。同社の求人では「1台のMacBookから数千台のクラスターまで」とうたっています。

2024年12月のころ、ローカルで動くAIといえば、性能が限られた小さなモデルが中心でした。いまは、OpenAIのgpt-oss、GoogleのGemma 4、AlibabaのQwen3のように、大きな会社が商用利用できるライセンスで中くらいのモデルを公開しています。EXOの実験が示した「大きな設備がなくてもAIは動く」という考えは、小さなモデルを賢くする競争として広がった、と見ることができます。

ヒカリちゃんのまとめこの約2年で、小さなモデルが賢くなり、無料のアプリで動かせるようになりました。ローカルAIは、実験から日常の道具に近づいています。

2025年の記事の答え合わせ

2025年1月の記事に書いた内容を、EXOのブログなどの元の資料と、その後の動きに照らして確かめます。

いちばんの見落としは、「動いた」と「使える」を分けて書かなかったことです。

当時の記事は、実験の面白さと可能性を伝えることに重きを置きました。けれど読者にとって大事なのは、自分のパソコンで何が動くのか、権利は大丈夫か、データは外に出ないのか、でした。このあとの3つの章は、その点を補うために書きました。

ヒカリちゃんのまとめ実験そのものと「GPUがなくても動く」という方向は当たっていました。外れたのはBitNetの開発元で、足りなかったのは「使える条件」の説明でした。

パソコンでローカルAIを動かす方法：Ollama・LM Studio

普通のWindowsパソコンやMacで、ローカルAIを始める手順を紹介します。無料のアプリが2つあり、どちらもWindows・macOSで使えます。

LM Studioで始める手順

1. 公式サイト（lmstudio.ai）からアプリをダウンロードして、インストールする
2. アプリ内でモデルを検索し、パソコンのメモリに収まる大きさのモデルを選んでダウンロードする
3. ダウンロードしたモデルを読み込み、チャット画面で日本語で話しかける
4. 最初の回答が出たら、Wi-Fiを切っても動くか試してみる（動けば、クラウドを使っていない目印になります）

どのくらいのパソコンが必要か

モデルは、メモリ（Macではユニファイドメモリ、WindowsではRAMやGPUのVRAM）に入りきる大きさが目安です。おおまかな計算として、モデルのファイルの大きさは「パラメータ数 × 1つあたりのビット数 ÷ 8」です。たとえば70億パラメータのモデルを4ビットに圧縮すると約3.5GB、BitNetの1.58ビットなら約1.4GBです。EXOのブログの「7Bで1.38GB」とも合います。実際には、このほかに作業用のメモリも必要です。

動かしてみると、まず速度に驚くかもしれません。クラウドのChatGPTのように、すぐに長い文章は出てきません。メモリに収まる範囲でも、GPUがないパソコンでは1文字ずつ表示されるような速さになることがあります。その場合は、ひとつ小さいモデルに変えると、たいてい楽になります。また、ローカルのモデルは、最新のニュースを知りません。最新の情報が必要な作業は、クラウドのAIや検索と使い分けてください。

ヒカリちゃんのまとめまずはLM Studioを入れて、小さなモデルで試してみてください。メモリが16GBあれば、gpt-oss-20bも視野に入ります。

ローカルAIのモデルのライセンスと、仕事で使うときの注意

ローカルAIのモデルは、無料で手に入ります。けれど、「無料」と「仕事で自由に使える」は同じではありません。モデルごとにライセンスが違うので、仕事で使う前に確かめてください。

ライセンスは、モデルの「使い方」を決めるものです。モデルが書いた文章や画像に他人の著作物が似てしまう可能性は、別の問題として残ります。ローカルで動かしても、出力を確認する手間は変わりません。社外に出す資料に使う前に、数字・固有名詞・引用を元の資料で確かめてください。

ライセンスの条文は、日本の法律の観点でも判断が分かれることがあります。契約や大きな案件に使うときは、専門家に相談するのが安全です。

ヒカリちゃんのまとめ仕事で使うなら、モデルのライセンスを先に見る習慣をつけましょう。Apache 2.0なら制限が少なく、Llamaには企業向けの条件があります。

ローカルAIのプライバシーと、AIパソコン（NPU）の選び方

ローカルAIのいちばんの利点は、入力した文章がパソコンの外に出ないことです。顧客の名前や見積もり、社内の議事録のように、クラウドのサービスには入れにくい文章を扱うときに役立ちます。LM Studioは、公式ブログで「家でも職場でも無料」と案内し、プライバシーポリシーは変えないとしています。

1. ネットを切って動くか確かめる。回答が出れば、文章はパソコンの中で処理されています
2. 「クラウド」のモデルを選ばない。Ollamaなどには、クラウドで動くモデルも並びます。名前に「cloud」と付くものは外に送られます
3. 社内ルールを確認する。ローカルで動かしても、どのソフトを入れてよいかは会社が決めることがあります
4. 履歴の保存先に気をつける。アプリはチャットの履歴をパソコンに残すことがあります。共有のパソコンでは削除の方法を確認します

EXOの実験が教えてくれるのは、AIの性能が「何を動かすか」だけでなく「どこで動かすか」にも左右される、ということです。クラウドは手軽で強力ですが、データを預けることになります。手元のAIは小さい分だけ力は劣りますが、情報を預けずに済みます。扱う情報の重さに合わせて、2つを使い分けるのが現実的です。

AIパソコン（Copilot+ PC）は必要か

Copilot+ PCは、毎秒40兆回以上の演算ができる（40 TOPS以上の）NPUを積んだWindows 11のパソコンで、条件としてメモリ16GBとストレージ256GBが挙げられています。メモ帳やペイントなどの機能が、パソコンの中で動きます。くわしくは Windows 11のAI機能の記事 にまとめています。

ここまで紹介したOllamaやLM Studioは、NPUがなくても使えます。まずは今あるパソコンで試し、メモリが足りないと感じたら買い替えを考える、という順番で十分です。パソコンを買うなら、モデルの大きさに直結するメモリの量を最優先で見てください。ChatGPTなどクラウドのAIとの使い分けは、ChatGPTのモデルの違いの記事 が参考になります。

ヒカリちゃんのまとめローカルAIは、文章を外に出さずに使えるのが強みです。まずは今のパソコンで試して、足りなければメモリを重視して選んでくださいね。