# USBメモリのAI：LlamaとQwenをローカルで実行する

_2026-03-07_

> 自分のマシンでLLMをローカル実行する方法。Llama 3、Qwen 2.5/3、ollama、llama.cpp、GGUF量子化。USBメモリへのポータブルインストール。

tech

2026-03-07

クラウドAPIは便利だ。インターネットとサブスクリプションの料金があり、プロンプトを誰かが読んでいることを許容できるなら。そのうち一つでも当てはまらないなら、ローカル推論へようこそ。

## そもそもなぜ

ローカルでLLMを動かす理由は4つ：

- **プライバシー。** データはマシンから出ない。テレメトリも、他人のサーバー上のログも一切なし。プロンプトはあなたの手元で生き、そして消える。
- **オフライン。** 飛行機、電車、WiFiのない地下壕でもモデルは動作する。ダウンロード後はどの段階でもインターネットは不要。
- **無料。** トークンあたり0ドル。永遠に。唯一の投資は、あなたがすでに持っているハードウェア。
- **検閲なし。** ローカルモデルは、答えるべきことに答える。企業のフィルターも、「I cannot help with that」もない。

## ツール

2つの選択肢。どちらも実用的で、プロセスをどれだけ制御したいかによって選ぶ。

**llama.cpp** — 純粋なC/C++による推論エンジン。CPUで動作し、オプションでGPU（CUDA、Metal、Vulkan）も使用可能。依存関係もPythonも不要。コンパイルして実行するだけ。量子化モデルの標準となったGGUF形式をサポート。

**Ollama** — llama.cppを人間向けのインターフェースでラップしたもの。1つのコマンドでモデルをダウンロードし、管理し、APIを公開する。コンパイルや設定に手間をかけたくないなら、こちらが選択肢。

```
# ollamaのインストール (Linux/macOS)
curl -fsSL https://ollama.com/install.sh | sh

# または https://ollama.com/download からバイナリをダウンロード
```

## モデル

2026年にローカルで実際に動かす価値のある2つのファミリー：

**Llama 3.x** (Meta) — 実用的な主力。英語に優れ、ロシア語もそこそこ扱える。8Bパラメータは8GB RAMに収まる。本格的なハードウェア向けに70Bと405Bのバージョンもある。

**Qwen 2.5 / Qwen 3** (Alibaba) — 多言語タスクに最適な選択。ロシア語、中国語、コード — いずれも高水準。7B版はLlama 3 8Bと競合し、一部では凌駕する。Qwen 3はモデル内で推論連鎖を行うシンキングモードを追加。

## GGUFと量子化

元のモデルウェイトは数十ギガバイトあり、GPUが必要。量子化は、品質を最小限に抑えながら、手頃なサイズに圧縮する。

GGUF形式は単一のコンテナ：ウェイト、トークナイザー、メタデータを1つのファイルにまとめたもの。ダウンロードして実行するだけ。

| 量子化 | サイズ (7B) | RAM | 品質 |
| --- | --- | --- | --- |
| `Q4_K_M` | ~4.1 GB | ~6 GB | 良好。最適なバランス |
| `Q5_K_M` | ~4.8 GB | ~7 GB | 非常に良好。やや重い |
| `Q8_0` | ~7.2 GB | ~9 GB | ほぼロスなし。RAMに余裕があれば |

**推奨：** `Q4_K_M` — 黄金比。品質の低下は最小限で、速度とサイズの差は顕著。`Q5_K_M` — メモリに余裕があり、もう少し精度を求めたい場合。

## 最小限のハードウェア

| 構成 | 対応可能なもの |
| --- | --- |
| **8 GB RAM**、任意のx86\_64 CPU | 7Bモデル (Q4\_K\_M)。基本構成 |
| **16 GB RAM**、4コア以上 | 13Bモデル。7Bで快適に動作 |
| **32 GB RAM** または GPU 12GB以上 | 33B–70Bモデル。本格的なレベル |

GPUは生成を大幅に高速化するが、必須ではない。CPUでも動作する — ただ遅いだけ。Apple Silicon (M1/M2/M3) は優れた選択肢：ユニファイドメモリにより、ディスクリートGPUなしで大規模モデルをロードできる。

## クイックスタート

ゼロから動作するモデルまで、2つのコマンド：

```
# Llama 3 8B
ollama run llama3

# Qwen 2.5 7B
ollama run qwen2.5

# Qwen 3 8B (シンキングモード付き)
ollama run qwen3

# 特定の量子化
ollama run llama3:8b-instruct-q5_K_M
```

初回起動時にモデルがダウンロードされる (~4-5 GB)。以降はすべてローカル。

Ollamaは `localhost:11434` でAPIを立ち上げる。コードから呼び出せる：

```
curl http://localhost:11434/api/generate -d '{
  "model": "qwen2.5",
  "prompt": "ニューラルネットワークの量子化を3文で説明してください",
  "stream": false
}'
```

## ハードコア向け：llama.cppを直接使用

```
# クローンしてビルド
git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp && make -j$(nproc)

# モデルを実行
./llama-cli -m /path/to/model.gguf \
  -p "Pythonでソート関数を書いてください" \
  -n 512 -t 4

# またはAPIサーバーを起動
./llama-server -m /path/to/model.gguf \
  --host 0.0.0.0 --port 8080
```

GGUFファイルはHuggingFaceから入手。実績のある量子化のソース：*bartowski*、*TheBloke* (レガシー)、*Qwen official*。

## USBメモリ上のAI

ポータブルインストール — すべてを1つのUSBドライブに。どんなコンピュータに挿しても起動する。

必要なもの：

- USB 3.0以上のフラッシュドライブまたは外付けSSD (32 GB以上)
- ollamaまたはllama.cppのバイナリ (静的ビルド、~50 MB)
- GGUF形式の1～2モデル (各~4-5 GB)

```
# USBメモリの構造
/LLM/
├── ollama              # バイナリ
├── models/
│   ├── llama3-8b-q4_k_m.gguf
│   └── qwen2.5-7b-q4_k_m.gguf
└── run.sh              # 起動スクリプト
```

```
#!/bin/bash
# run.sh — USBメモリからの起動
export OLLAMA_MODELS="$(dirname "$0")/models"
export OLLAMA_HOST="127.0.0.1:11434"
"$(dirname "$0")/ollama" serve &
sleep 2
"$(dirname "$0")/ollama" run llama3
```

> フラッシュドライブの代わりに外付けSSDを使用すると、モデルの読み込みが格段に速くなる。通常のUSBフラッシュドライブでも動作するが、初回起動は時間がかかる。RAMにロードされた後は、ストレージの速度は重要ではなくなる。

## パフォーマンス

実際に期待できること。モデル7B、量子化Q4\_K\_M：

| ハードウェア | トークン/秒 | 体感 |
| --- | --- | --- |
| i5/Ryzen 5、16GB、CPUのみ | 8–15 | 遅いが読み取り可能 |
| Apple M1/M2、16GB | 25–40 | 快適。高速なタイピング程度 |
| RTX 3060 12GB | 40–60 | 高速。応答が数秒で |
| RTX 4090 24GB | 80–120 | 瞬時 |

13Bモデルの場合 — おおよそ半分。70Bの場合 — 48GB VRAMのGPUか、CPU推論用の大量のRAMが必要（遅いが動作する）。

もう一つのポイント：最初のトークンは常に遅い（プロンプト処理）。長いプロンプト — 応答の最初の単語までに顕著な遅延。短いプロンプト — ほぼ瞬時。

## 何を選ぶか

- **ロシア語のテキストとチャット向け** — Qwen 2.5 7B。このサイズのモデルの中で最高のロシア語性能。
- **コード向け** — Qwen 2.5 Coder 7B または Llama 3 8B。どちらも優れている。
- **推論向け** — Qwen 3 8B（シンキングモード付き）。遅いが、より賢い。
- **最大速度向け** — Llama 3 8B Q4\_K\_M。軽量で高速。

· · ·

ローカルLLMは、GPT-4やClaudeの代替ではない。異なるタスクのための異なるツールだ。プライベートアシスタント、オフラインヘルパー、実験的なプラットフォーム。USBメモリ上のモデルは、まるでスイスアーミーナイフのようだ：本格的な作業場の代わりにはならないが、現場では欠かせない。

USBメモリ上の2ギガ。他人のサーバーへの依存ゼロ。自分だけのポケットAI。

[← ベースへ](../index.html)