Methodik

Diese Seite ist ein Nachschlagewerk, keine Lektüre in einer Reihe. Sie wird aus jedem Benchmark- und Werkstattartikel verlinkt und beantwortet die Frage, der jede Zahl auf dieser Website standhalten muss: Wie kommt sie zustande?

Ausschließlich maschinelle Bewertung

Kein Sprachmodell und kein Mensch bewertet hier ein Ergebnis. Jede Aufgabe hat eine Scoring-Funktion, die aus der Antwort des Modells eine Zahl macht – deterministisch, wiederholbar, unabhängig von der Tagesform eines Judges.

Der Preis dafür ist Reichweite: Aufgaben, die sich nicht maschinell bewerten lassen, kommen nicht in die Suite. Das ist beabsichtigt.

Aufgaben und ihre Kennungen

Jede Aufgabe trägt eine Kennung (M01, M02, A01, …), unter der sie über alle Bereiche hinweg auffindbar ist – siehe Aufgaben.

Scores sind innerhalb einer Aufgabe vergleichbar, nicht quer über Aufgaben hinweg: Ein 0,91 bei A2 ist etwas anderes als ein 0,91 bei B1.

Trennschärfe

Eine Aufgabe, bei der alle Modelle gleich abschneiden, misst nichts – auch wenn die Bewertung sauber ist. Solche Items fliegen aus der Suite, unabhängig davon, ob sie inhaltlich korrekt sind.

Versionen

Jede Aufgabe hat eine eigene Aufgabenversion, eine einfache Zahl. Sie steigt, sobald sich Aufgabenstellung, Referenzdaten oder Scoring der Aufgabe ändern.

Alle Aufgaben zusammen bilden die Benchmark-Version, geschrieben als Jahr und laufende Nummer in diesem Jahr, etwa 2026.1. Sie legt fest, welche Aufgaben in welcher Aufgabenversion zur Suite gehören.

Zahlen aus unterschiedlichen Versionen sind nicht direkt vergleichbar. Deshalb steht die Benchmark-Version in jedem Artikel, der Zahlen zitiert – und die Aufgabenversion in jedem Artikel, der eine einzelne Aufgabe behandelt.

Läufe

Jeder Lauf bekommt eine Kennung aus Zeitstempel und Modell, etwa 20260825-160808Z-qwen3-1.7b. Im Messstand-Kasten über jedem Artikel steht, in welchem Zeitraum die Messungen entstanden sind, aus denen er seine Zahlen zieht.

Was diese Methodik nicht leistet

Die deutschen Textaufgaben basieren auf kuratierten, teils künstlich erzeugten Daten. Sie ersetzen keinen Test auf den eigenen Inhalten – sie zeigen, welche Aufgabenklasse ein Modell überhaupt trägt.

Tipps zum Selber-Laufen-lassen

Du brauchst uv⁠ (öffnet in neuem Tab) und einen lokalen OpenAI-kompatiblen Server, etwa llama-server (idealerweise zusammen mit llama-swap), Ollama oder LM Studio. Wie du den einrichtest, steht in Ein lokaler KI-Chatbot in fünf Minuten.

git clone https://github.com/stefanfis/german-seo-bench
cd german-seo-bench
uv run inspect eval german_seo_bench/m01_titles --model local/<modellname>
uv run inspect view

Für ein Ergebnis wie in der Tabelle: dreimal laufen lassen, dann zusammenfassen.

uv run python -m german_seo_bench.report logs --glob '*m01-titles*' --out auswertung

Stefans Newsletter über Lokale-KI-Workflows