Worum es hier geht, steht in den Grundlagen: Was ein Benchmark misst – und was nicht.

Was normal aussah

Bei A3 – Fakten-Extraktion – lag granite-4.1-8b mit 0,98 deutlich vor qwen3-1.7b mit 0,88. Ein Zehntel Abstand, konsistent über mehrere Läufe.

Welchen Schluss man daraus gezogen hätte

Das größere Modell extrahiert Fakten zuverlässiger. Plausibel, reproduzierbar – und falsch begründet.

Was tatsächlich los war

Der Runner setzte den erzwungenen JSON-Modus nur dort, wo das Backend ihn meldete. Für das eine Modell war er aktiv, für das andere nicht. Ein Teil des Abstands war reines Parsing: gültige Extraktionen, die am Format scheiterten.

Der Fix

Aufrufparameter gehören zur Messung, nicht zur Umgebung. Sie stehen jetzt je Lauf in der Ergebnisdatei und werden beim Vergleich geprüft; abweichende Konfigurationen brechen den Vergleich ab, statt ihn zu verrechnen.

Was daraus allgemein folgt

Bevor man zwei Zahlen vergleicht, muss belegt sein, dass sie aus demselben Aufruf stammen. Was dazugehört, listet die Methodik.