KI auf dem USB-Stick: Llama und Qwen lokal ausführen

tech

2026-03-07

Cloud-APIs sind praktisch. Solange du Internet hast, Geld für das Abonnement und es dich nicht stört, dass jeder Prompt von jemand anderem mitgelesen wird. Wenn auch nur ein Punkt nicht zutrifft – willkommen beim lokalen Inferenz.

Warum überhaupt

Vier Gründe, LLMs auf eigener Hardware laufen zu lassen:

• Privatsphäre. Daten verlassen den Rechner nicht. Keine Telemetrie, keine Logs auf fremden Servern. Der Prompt lebt und stirbt bei dir.
• Offline. Flugzeug, Zug, Bunker ohne WLAN – das Modell funktioniert. Nach dem Herunterladen ist in keinem Schritt Internet nötig.
• Kostenlos. Null Dollar pro Token. Für immer. Die einzige Investition ist die Hardware, die du bereits hast.
• Ohne Zensur. Ein lokales Modell antwortet auf das, worauf es antwortet. Ohne Unternehmensfilter, ohne „I cannot help with that”.

Werkzeuge

Zwei Optionen. Beide funktionieren, die Wahl hängt davon ab, wie sehr du den Prozess kontrollieren möchtest.

llama.cpp – Inferenz-Engine in reinem C/C++. Läuft auf der CPU, optional GPU (CUDA, Metal, Vulkan). Keine Abhängigkeiten, kein Python. Kompiliert – gestartet. Unterstützt das GGUF-Format, das zum Standard für quantisierte Modelle geworden ist.

Ollama – ein Wrapper um llama.cpp mit einer benutzerfreundlichen Oberfläche. Lädt Modelle mit einem Befehl herunter, verwaltet sie, stellt eine API bereit. Wenn du dich nicht mit Kompilierung und Konfigurationen herumschlagen willst, ist dies deine Option.

# Installation von ollama (Linux/macOS)
curl -fsSL https://ollama.com/install.sh | sh

# Oder das Binary von https://ollama.com/download herunterladen

Modelle

Zwei Familien, die es 2026 wirklich wert sind, lokal ausgeführt zu werden:

Llama 3.x (Meta) – das Arbeitstier. Gut für Englisch, kommt einigermaßen mit Russisch zurecht. 8B Parameter – passt in 8 GB RAM. Es gibt Versionen mit 70B und 405B für diejenigen mit ernsthafter Hardware.

Qwen 2.5 / Qwen 3 (Alibaba) – die beste Wahl für mehrsprachige Aufgaben. Russisch, Chinesisch, Code – auf hohem Niveau. Die 7B-Version konkurriert mit Llama 3 8B und übertrifft sie stellenweise. Qwen 3 hat einen Thinking-Mode hinzugefügt – eine Argumentationskette direkt im Modell.

GGUF und Quantisierung

Die ursprünglichen Gewichte von Modellen wiegen Dutzende Gigabyte und erfordern eine GPU. Quantisierung komprimiert sie auf eine vernünftige Größe mit minimalem Qualitätsverlust.

Das GGUF-Format – ein einheitlicher Container: Gewichte + Tokenizer + Metadaten in einer Datei. Heruntergeladen – gestartet.

Empfehlung: Q4_K_M – der goldene Mittelweg. Qualitätsverluste sind minimal, während der Unterschied in Geschwindigkeit und Größe erheblich ist. Q5_K_M – wenn Speicher übrig ist und du etwas mehr Genauigkeit wünschst.

Minimale Hardware

Eine GPU beschleunigt die Generierung erheblich, ist aber nicht zwingend erforderlich. Auf der CPU funktioniert es auch – nur langsamer. Apple Silicon (M1/M2/M3) ist eine hervorragende Option: Unified Memory ermöglicht das Laden großer Modelle ohne diskrete Grafikkarte.

Schnellstart

Von null zu einem laufenden Modell – zwei Befehle:

# Llama 3 8B
ollama run llama3

# Qwen 2.5 7B
ollama run qwen2.5

# Qwen 3 8B (mit Thinking Mode)
ollama run qwen3

# Bestimmte Quantisierung
ollama run llama3:8b-instruct-q5_K_M

Der erste Start lädt das Modell herunter (~4-5 GB). Danach läuft alles lokal.

Ollama stellt eine API unter localhost:11434 bereit. Kann aus dem Code heraus angesprochen werden:

curl http://localhost:11434/api/generate -d '{
  "model": "qwen2.5",
  "prompt": "Erkläre die Quantisierung neuronaler Netze in drei Sätzen",
  "stream": false
}'

Für Hardcore-Anwender: llama.cpp direkt

# Klonen und bauen
git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp && make -j$(nproc)

# Modell ausführen
./llama-cli -m /pfad/zum/model.gguf \
  -p "Schreibe eine Sortierfunktion in Python" \
  -n 512 -t 4

# Oder einen Server mit API starten
./llama-server -m /pfad/zum/model.gguf \
  --host 0.0.0.0 --port 8080

GGUF-Dateien beziehen wir von HuggingFace. Bewährte Quellen für Quantisierungen: bartowski, TheBloke (Legacy), Qwen official.

KI auf dem USB-Stick

Portable Installation – alles auf einem USB-Stick. Einstecken in einen beliebigen Computer – loslegen.

Was du brauchst:

• USB 3.0+ Stick oder externe SSD (ab 32 GB)
• Binärdateien von ollama oder llama.cpp (statische Builds, ~50 MB)
• Ein oder zwei Modelle im GGUF-Format (~4-5 GB pro Stück)

# Struktur des USB-Sticks
/LLM/
├── ollama              # Binary
├── models/
│   ├── llama3-8b-q4_k_m.gguf
│   └── qwen2.5-7b-q4_k_m.gguf
└── run.sh              # Startskript

#!/bin/bash
# run.sh – Start vom USB-Stick
export OLLAMA_MODELS="$(dirname "$0")/models"
export OLLAMA_HOST="127.0.0.1:11434"
"$(dirname "$0")/ollama" serve &
sleep 2
"$(dirname "$0")/ollama" run llama3

Eine externe SSD anstelle eines USB-Sticks lädt das Modell um ein Vielfaches schneller. Ein normaler USB-Stick funktioniert, aber der erste Start dauert lange. Nach dem Laden in den RAM spielt die Geschwindigkeit des Speichermediums keine Rolle mehr.

Leistung

Was du realistisch erwarten kannst. Modell 7B, Quantisierung Q4_K_M:

Für 13B Modelle – etwa durch zwei teilen. Für 70B – eine GPU mit 48 GB VRAM oder viel RAM für CPU-Inferenz (langsam, aber funktioniert) nötig.

Ein weiterer Punkt: Der erste Token ist immer langsamer (Prompt Processing). Ein langer Prompt – eine spürbare Verzögerung vor dem ersten Wort der Antwort. Kurze Prompts – fast sofort.

Was wählen

• Für Texte und Chat auf Russisch – Qwen 2.5 7B. Das beste Russisch unter den Modellen dieser Größe.
• Für Code – Qwen 2.5 Coder 7B oder Llama 3 8B. Beide sind gut.
• Für Überlegungen – Qwen 3 8B mit Thinking Mode. Langsamer, aber klüger.
• Für maximale Geschwindigkeit – Llama 3 8B Q4_K_M. Leicht, schnell.

· · ·

Lokale LLMs sind kein Ersatz für GPT-4 oder Claude. Sie sind ein anderes Werkzeug für andere Aufgaben. Privater Assistent, Offline-Helfer, Experimentierplattform. Ein Modell auf einem USB-Stick – wie ein Schweizer Taschenmesser: Es ersetzt keine Werkstatt, aber im Feld ist es unersetzlich.

Zwei Gig auf dem Stick. Null Abhängigkeiten von fremden Servern. Deine eigene KI in der Tasche.

← Zur Basis