Die Hardware
Alle lokalen Modelle liefen auf einem handelsüblichen PC mit bereits etwas älterer Hardware:
| Bauteil | |
|---|---|
| Grafikkarten | 2× NVIDIA RTX 3060 mit je 12 GB, zusammen 24 GB VRAM |
| Prozessor | Ryzen 5 3600 |
| Arbeitsspeicher | 32 GB |
| Betriebssystem | Debian GNU/Linux 13 |
| Inferenz | llama.cpp (llama-server) Build 10812 |
Die beiden Karten sind baugleich. llama.cpp verteilt die Schichten eines Modells selbst auf beide. Modelle bis knapp 20 GB passen damit in der Regel vollständig in den Grafikspeicher. Größere Modelle lagern einen Teil in den Arbeitsspeicher aus und werden dadurch deutlich langsamer.
Wie VRAM, Quantisierung und Arbeitsspeicher zusammenspielen, steht in Hardware für lokale KI.
Die Modelle
| Modell | Anbieter | Parameter | Quantisierung | Dateigröße | Generierung |
|---|---|---|---|---|---|
| Qwen 3.5 4B | Alibaba | 4 Mrd. | UD-Q4_K_XL | 2,8 GB | ~75 Tokens/s |
| Gemma 4 E4B | 8 Mrd. (4 Mrd. effektiv) | Q4_K_M | 4,7 GB | ~65 Tokens/s | |
| Qwen 3.5 9B | Alibaba | 9 Mrd. | UD-Q4_K_XL | 5,6 GB | ~50 Tokens/s |
| Gemma 4 12B | 12 Mrd. | Q5_K_M | 7,9 GB | ~30 Tokens/s | |
| Gemma 4 26B-A4B | 26 Mrd., 4 Mrd. aktiv (MoE) | UD-Q4_K_M | 16 GB | ~60 Tokens/s | |
| Qwen 3.8 27B | Alibaba | 27 Mrd. | UD-Q4_K_M | 16 GB | ~45 Tokens/s |
| Gemma 4 31B | 31 Mrd. | Q4_K_M | 18 GB | ~10 Tokens/s | |
| Qwen 3.6 35B-A3B | Alibaba | 35 Mrd., 3 Mrd. aktiv (MoE) | UD-Q4_K_M | 22 GB | ~48 Tokens/s |
| Kolibri 1 78B-A3B | Aleph Alpha | 78 Mrd., 3 Mrd. aktiv (MoE) | Q4_K_M | 45 GB | ~27 Tokens/s |
| Claude Haiku 5.5 | Anthropic | nicht veröffentlicht | – | Cloud | – |
- Dateigröße ist die Größe der GGUF-Datei ohne den Bildteil (
mmproj). Die Datei entscheidet, ob ein Modell auf eine Maschine passt. Bei Mixture-of-Experts-Modellen (MoE) liegen alle Experten im Speicher, auch wenn je Token nur ein kleiner Teil rechnet. Deshalb sind diese Modelle groß, aber schnell. - Generierung ist die Geschwindigkeit, mit der das Modell Antworttext schreibt, auf Dirac und gerundet. Sie stammt aus den Zeitmessungen von llama-server in den Logs. Das Lesen des Prompts kommt hinzu und ist um ein Vielfaches schneller.
- Die Bildteile (
mmproj, 0,6 bis 1,2 GB) waren bei allen Modellen außer Kolibri 1 geladen. Gebraucht werden sie nur für M10, die ALT-Texte. Kolibri 1 ist ein reines Text-to-text-Modell, es fehlt deshalb im Benchmark M10.
Einstellungen, die für alle Modelle gelten
| Einstellung | Wert | Was sie bewirkt |
|---|---|---|
| Kontextgröße | 131.072 Tokens (Gemma 4 31B: 65.536, Kolibri 1: 32.768) | wie viel Text ein Aufruf fassen kann; nur A01 braucht mehr als einige Tausend |
| KV-Cache | q8_0 (Kolibri 1: q4_0) |
Zwischenspeicher der Aufmerksamkeit, auf 8 Bit verkleinert |
| Chat-Template | aus der Modelldatei (--jinja) |
wie Nachrichten für das Modell formatiert werden |
| Denken | über das Chat-Template ein- oder ausgeschaltet | siehe unten |
| Denkgrenze | 512 Tokens je Antwort, in der Anfrage (thinking_budget_tokens) |
nur bei Läufen mit Denken |
Denken an und aus
Jedes Modell lief in eigenen Varianten mit und ohne Denken. Geschaltet wird über das Chat-Template, so wie es der Hersteller vorsieht:
| Modell | Denken aus | Denken an |
|---|---|---|
| Gemma 4, Qwen 3.5 | enable_thinking: false |
enable_thinking: true |
| Qwen 3.6 35B-A3B | reasoning_effort: none |
enable_thinking: true |
| Qwen 3.8 27B | reasoning_effort: none |
reasoning_effort: medium |
| Kolibri 1 78B-A3B | enable_thinking: false |
reasoning_effort: medium |
| Claude Haiku 5.5 | reasoning_effort: none |
adaptiv, nach Vorgabe der API |
Sampling
Jedes Modell lief mit den Sampling-Werten, die der Anbieter für den jeweiligen Zweck empfiehlt. Die Werte folgenden Werte wurden von llama-server während der Läufe gemeldet:
| Modell | Denken | Temperatur | top_p | top_k | min_p |
|---|---|---|---|---|---|
| Gemma 4 (alle Größen) | aus und an | 1.0 | 0.95 | 64 | 0.05 |
| Qwen 3.5 4B und 9B | aus | 0.7 | 0.8 | 20 | 0 |
| Qwen 3.5 4B und 9B, Qwen 3.6 35B-A3B | an | 0.6 | 0.95 | 20 | 0 |
| Qwen 3.8 27B | aus und an | 1.0 | 0.95 | 20 | 0 |
| Kolibri 1 78B-A3B | aus und an | 1.0 | 0.97 | 128 | 0.05 |
- Bei Gemma 4 setzt die Konfiguration kein
min_p. Die 0.05 sind die Vorgabe von llama.cpp. - Bei Kolibri 1 setzt die Konfiguration gar keine Sampling-Werte. Die gemeldeten Werte stammen.
- Für Qwen 3.5 und 3.6 gibt es mit Denken zwei Empfehlungen des Herstellers, „general“ (Temperatur 1.0) und „precise“ (0.6). Gemessen habe ich mit „precise“.
- Bei Claude Haiku 5.5 bleibt es bei den Vorgaben der API.
Besonderheiten einzelner Modelle
- Gemma 4 31B läuft mit einem kleinen Zusatzmodell für spekulatives Dekodieren (MTP-Draft, Q8_0, 0,5 GB). Das beschleunigt die Ausgabe.
- Qwen 3.8 27B läuft ebenfalls mit MTP-Draft. Dazu kommen ein angepasstes Chat-Template (froggeric, v22.5), die Aufteilung jeder Schicht auf beide Karten (
-sm tensor) und Flash Attention. - Kolibri 1 78B-A3B braucht einen eigenen Build von llama.cpp. Mit 45 GB passt das Modell nicht in die 24 GB VRAM. Ein Teil liegt im Arbeitsspeicher, und der Kontext ist auf 32.768 Tokens begrenzt. Bei A01 hat das in einzelnen Läufen nicht gereicht.
- Claude Haiku 5.5 läuft über die API von Anthropic, als Vergleich mit einem kleinen Cloud-Modell. Was hinter dem Namen steckt, kann der Anbieter jederzeit ändern. Gemessen habe ich im Oktober 2026.
Selbst nachmessen
Die Benchmarks fragen jedes Modell über eine OpenAI-kompatible Schnittstelle ab. Welcher Server dahinter steht, ist dem Benchmark egal. Für vergleichbare Zahlen kommt es auf drei Dinge an: dieselbe Modelldatei, dieselben Sampling-Werte und, bei Läufen mit Denken, dieselbe Denkgrenze. Die Kontextgröße und die Geschwindigkeit der Hardware ändern den Score nicht. Ausnahme ist A01, wo ein zu kleiner Kontext den Lauf abbricht.
Wie ein Lauf aufgesetzt wird, steht unter Methodik.