USBメモリのAI：LlamaとQwenをローカルで実行する
tech
2026-03-07
クラウドAPIは便利だ。インターネットとサブスクリプションの料金があり、プロンプトを誰かが読んでいることを許容できるなら。そのうち一つでも当てはまらないなら、ローカル推論へようこそ。
そもそもなぜ
ローカルでLLMを動かす理由は4つ：
- プライバシー。 データはマシンから出ない。テレメトリも、他人のサーバー上のログも一切なし。プロンプトはあなたの手元で生き、そして消える。
- オフライン。 飛行機、電車、WiFiのない地下壕でもモデルは動作する。ダウンロード後はどの段階でもインターネットは不要。
- 無料。 トークンあたり0ドル。永遠に。唯一の投資は、あなたがすでに持っているハードウェア。
- 検閲なし。 ローカルモデルは、答えるべきことに答える。企業のフィルターも、「I cannot help with that」もない。
ツール
2つの選択肢。どちらも実用的で、プロセスをどれだけ制御したいかによって選ぶ。
llama.cpp — 純粋なC/C++による推論エンジン。CPUで動作し、オプションでGPU（CUDA、Metal、Vulkan）も使用可能。依存関係もPythonも不要。コンパイルして実行するだけ。量子化モデルの標準となったGGUF形式をサポート。
Ollama — llama.cppを人間向けのインターフェースでラップしたもの。1つのコマンドでモデルをダウンロードし、管理し、APIを公開する。コンパイルや設定に手間をかけたくないなら、こちらが選択肢。
# ollamaのインストール (Linux/macOS)
curl -fsSL https://ollama.com/install.sh | sh
# または https://ollama.com/download からバイナリをダウンロード
モデル
2026年にローカルで実際に動かす価値のある2つのファミリー：
Llama 3.x (Meta) — 実用的な主力。英語に優れ、ロシア語もそこそこ扱える。8Bパラメータは8GB RAMに収まる。本格的なハードウェア向けに70Bと405Bのバージョンもある。
Qwen 2.5 / Qwen 3 (Alibaba) — 多言語タスクに最適な選択。ロシア語、中国語、コード — いずれも高水準。7B版はLlama 3 8Bと競合し、一部では凌駕する。Qwen 3はモデル内で推論連鎖を行うシンキングモードを追加。
GGUFと量子化
元のモデルウェイトは数十ギガバイトあり、GPUが必要。量子化は、品質を最小限に抑えながら、手頃なサイズに圧縮する。
GGUF形式は単一のコンテナ：ウェイト、トークナイザー、メタデータを1つのファイルにまとめたもの。ダウンロードして実行するだけ。
| 量子化 | サイズ (7B) | RAM | 品質 |
|---|---|---|---|
Q4_K_M |
~4.1 GB | ~6 GB | 良好。最適なバランス |
Q5_K_M |
~4.8 GB | ~7 GB | 非常に良好。やや重い |
Q8_0 |
~7.2 GB | ~9 GB | ほぼロスなし。RAMに余裕があれば |
推奨： Q4_K_M — 黄金比。品質の低下は最小限で、速度とサイズの差は顕著。Q5_K_M — メモリに余裕があり、もう少し精度を求めたい場合。
最小限のハードウェア
| 構成 | 対応可能なもの |
|---|---|
| 8 GB RAM、任意のx86_64 CPU | 7Bモデル (Q4_K_M)。基本構成 |
| 16 GB RAM、4コア以上 | 13Bモデル。7Bで快適に動作 |
| 32 GB RAM または GPU 12GB以上 | 33B–70Bモデル。本格的なレベル |
GPUは生成を大幅に高速化するが、必須ではない。CPUでも動作する — ただ遅いだけ。Apple Silicon (M1/M2/M3) は優れた選択肢：ユニファイドメモリにより、ディスクリートGPUなしで大規模モデルをロードできる。
クイックスタート
ゼロから動作するモデルまで、2つのコマンド：
# Llama 3 8B
ollama run llama3
# Qwen 2.5 7B
ollama run qwen2.5
# Qwen 3 8B (シンキングモード付き)
ollama run qwen3
# 特定の量子化
ollama run llama3:8b-instruct-q5_K_M
初回起動時にモデルがダウンロードされる (~4-5 GB)。以降はすべてローカル。
Ollamaは localhost:11434 でAPIを立ち上げる。コードから呼び出せる：
curl http://localhost:11434/api/generate -d '{
"model": "qwen2.5",
"prompt": "ニューラルネットワークの量子化を3文で説明してください",
"stream": false
}'
ハードコア向け：llama.cppを直接使用
# クローンしてビルド
git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp && make -j$(nproc)
# モデルを実行
./llama-cli -m /path/to/model.gguf \
-p "Pythonでソート関数を書いてください" \
-n 512 -t 4
# またはAPIサーバーを起動
./llama-server -m /path/to/model.gguf \
--host 0.0.0.0 --port 8080
GGUFファイルはHuggingFaceから入手。実績のある量子化のソース：bartowski、TheBloke (レガシー)、Qwen official。
USBメモリ上のAI
ポータブルインストール — すべてを1つのUSBドライブに。どんなコンピュータに挿しても起動する。
必要なもの：
- USB 3.0以上のフラッシュドライブまたは外付けSSD (32 GB以上)
- ollamaまたはllama.cppのバイナリ (静的ビルド、~50 MB)
- GGUF形式の1～2モデル (各~4-5 GB)
# USBメモリの構造
/LLM/
├── ollama # バイナリ
├── models/
│ ├── llama3-8b-q4_k_m.gguf
│ └── qwen2.5-7b-q4_k_m.gguf
└── run.sh # 起動スクリプト
#!/bin/bash
# run.sh — USBメモリからの起動
export OLLAMA_MODELS="$(dirname "$0")/models"
export OLLAMA_HOST="127.0.0.1:11434"
"$(dirname "$0")/ollama" serve &
sleep 2
"$(dirname "$0")/ollama" run llama3
フラッシュドライブの代わりに外付けSSDを使用すると、モデルの読み込みが格段に速くなる。通常のUSBフラッシュドライブでも動作するが、初回起動は時間がかかる。RAMにロードされた後は、ストレージの速度は重要ではなくなる。
パフォーマンス
実際に期待できること。モデル7B、量子化Q4_K_M：
| ハードウェア | トークン/秒 | 体感 |
|---|---|---|
| i5/Ryzen 5、16GB、CPUのみ | 8–15 | 遅いが読み取り可能 |
| Apple M1/M2、16GB | 25–40 | 快適。高速なタイピング程度 |
| RTX 3060 12GB | 40–60 | 高速。応答が数秒で |
| RTX 4090 24GB | 80–120 | 瞬時 |
13Bモデルの場合 — おおよそ半分。70Bの場合 — 48GB VRAMのGPUか、CPU推論用の大量のRAMが必要（遅いが動作する）。
もう一つのポイント：最初のトークンは常に遅い（プロンプト処理）。長いプロンプト — 応答の最初の単語までに顕著な遅延。短いプロンプト — ほぼ瞬時。
何を選ぶか
- ロシア語のテキストとチャット向け — Qwen 2.5 7B。このサイズのモデルの中で最高のロシア語性能。
- コード向け — Qwen 2.5 Coder 7B または Llama 3 8B。どちらも優れている。
- 推論向け — Qwen 3 8B（シンキングモード付き）。遅いが、より賢い。
- 最大速度向け — Llama 3 8B Q4_K_M。軽量で高速。
· · ·
ローカルLLMは、GPT-4やClaudeの代替ではない。異なるタスクのための異なるツールだ。プライベートアシスタント、オフラインヘルパー、実験的なプラットフォーム。USBメモリ上のモデルは、まるでスイスアーミーナイフのようだ：本格的な作業場の代わりにはならないが、現場では欠かせない。
USBメモリ上の2ギガ。他人のサーバーへの依存ゼロ。自分だけのポケットAI。