Worum es hier geht, steht in den Grundlagen: Wie ein Sprachmodell Text erzeugt.

Was normal aussah

qwen3-1.7b gewann Aufgabe A2 mit 0,91 – vor dem viermal größeren granite-4.1-8b. Ein sauberes, plausibles Ergebnis.

Welchen Schluss man daraus gezogen hätte

„Das kleine Modell reicht." Aggregiert über die Aufgabensuite lag es im Mittelfeld, nichts deutete auf ein Problem hin.

Was tatsächlich los war

Bei B1 – freier Analyse – lieferte dasselbe Modell 0,12. In den Rohantworten stand achtmal hintereinander dieselbe falsch gelesene Zahl. Klassische Degeneration, vom Gesamtmittelwert vollständig geschluckt.

Der Fix

Kein Mittelwert über Aufgaben hinweg – nie. Zusätzlich ein Degenerationsdetektor, der n-Gramm-Wiederholungen in der Rohantwort zählt und den Lauf markiert, bevor er ins Ergebnis geht.

Was daraus allgemein folgt

Ein aggregierter Benchmark-Score über heterogene Aufgaben ist keine verdichtete Information, sondern verlorene. Deshalb steht in den Benchmarks jede Aufgabe einzeln.