Die Aufgabe
Das Modell bekommt eine Wissensfrage und zehn Antworten zur Auswahl, von denen genau eine stimmt. Es soll nur den Buchstaben nennen. Jede Frage kommt einzeln, ohne Kontext, ohne Websuche. Der Benchmark misst also, was im Modell selbst steckt. Das ist wichtig, weil Modelle nicht jeden einzelnen Aspekt eines Textes oder jeden einzelnen Fakt durch eine Websuche absichern können; jedenfalls dann nicht, wenn die Laufzeit nicht ins Unermessliche steigen soll.
Die 195 Fragen stammen aus Bereichen, mit der SEOs und die von ihnen betreuten Websites im deutschsprachigen Raum zu tun haben:
| Thema | Fragen | Worum es geht |
|---|---|---|
| Shop | 43 | Normen und Kennzeichnung: Papierformate, Reifen- und Kleidergrößen, Pflegeetiketten, Energielabel, Porto |
| Recht | 37 | Preisangaben, Widerruf, Gewährleistung, Aufbewahrungsfristen, Stichtage von EU-Verordnungen |
| Reisen | 34 | Flughäfen, Fahrgast- und Fluggastrechte, Tickets, Klassifizierung von Unterkünften |
| Österreich, Schweiz | 25 | Begriffe, Institutionen, Recht, Zahlungsverkehr |
| Marken | 16 | Herkunft und Bedeutung bekannter Marken |
| Web | 14 | robots.txt, hreflang, Statuscodes, Core Web Vitals, Domain-Registries |
| Sonstiges | 26 | Geografie, Geschichte, Hochschulen, Naturwissenschaft |
Die neun falschen Antworten sollten absichtlich jeweils nah an der korrekten Antwort sein: Nachbarjahre, Zahlendreher, ähnlich klingende Namen, eine andere Bedeutung derselben Abkürzung. Ein Modell, das die Antwort nur ungefähr kennt, soll nicht durch Ausschließen ans Ziel kommen. Wo eine Jahreszahl zu leicht zu raten wäre, verlangt der Benchmark das genaue Datum.
Ergebnisse
Ohne Denken lief jedes Modell dreimal. Mit Denken habe ich bisher nur einen Teil der Modelle gemessen, manche nur einmal. Die Zahl der Läufe steht am Balken. Ein einzelner Lauf ist milder als der schlechteste von dreien, die beiden Grafiken sind deshalb nur grob vergleichbar.
Die konkreten Modelle inkl. Quantisierung und Sampling-Parameter sowie Hinweise zur benutzten Hardware findest du in Modelle.
Einordnung
Wissen hängt hier stärker an der Größe als in den anderen Aufgaben. Ohne Denken führt Gemma 4 31B mit 0.71, vor Gemma 4 26B-A4B mit 0.63 und Claude Haiku 5.5 mit 0.57. Alle Modelle unter 10 Milliarden Parametern liegen bei 0.30 oder darunter. Bei Titeln oder Produktdaten holen kleine Modelle viel auf, beim Wissen nicht: Was nicht in den Gewichten steckt, lässt sich nicht aus dem Text ableiten.
Die Modellfamilie zählt fast so viel wie die Größe. Qwen 3.8 27B ist fast so groß wie Gemma 4 31B, erreicht aber nur 0.32, weniger als Gemma 4 12B mit 0.42. Mit Denken kommt es in einem Einzellauf auf 0.72. Ohne Denken fehlt ihm deutschsprachiges Alltagswissen, das die Gemma-Modelle mitbringen.
Ein Teil der Fragen misst den Wissensstand, nicht das Wissen. 23 der 195 Fragen hat kein einziges Modell ohne Denken in allen drei Läufen richtig beantwortet. Darunter sind auffällig viele Zahlen, die sich zuletzt geändert haben: der Preis des Deutschlandtickets 2026, der Mindestlohn und das Kindergeld 2026, das Porto für einen Standardbrief. Die Modelle wählen einen nahen, falschen Betrag, oft den des Vorjahres: 250 € Kindergeld, 13,82 € Mindestlohn. Vermutlich liegt das am Trainingsstand, der vor der Änderung endet – oder für den es noch nicht genügend aktuelles “Futter” gab, so dass der veraltete Stand wiedergegeben wird.
Plausible Geschichten schlagen wahre. Bei Markennamen wählen fast alle Modelle die Erklärung, die gut klingt: Tesa nach einem „Hamburger Kaufmann Ernst Tesar“ statt nach der Mitarbeiterin Elsa Tesmer, Rimowa als „Rigid Molded Ware“ statt als Kürzel von „Richard Morszeck Warenzeichen“. Ein Modell, das die Antwort nicht weiß, rät nicht zufällig, sondern in Richtung der überzeugendsten Option.
Recht ist das schwächste Thema, Web das stärkste. Bei den technischen SEO-Fragen kommen Gemma 4 31B und Claude Haiku 5.5 ohne Denken auf 1.00 und 0.93. Bei den Rechtsfragen liegen sie bei 0.68 und 0.43. Fristen, Beträge und Stichtage aus dem deutschen Recht sind also das, was man einem Modell ohne Grounding am wenigsten glauben sollte.
Denken hilft bei M02 deutlich, kostet aber viel Zeit. Claude Haiku 5.5 steigt mit Denken von 0.57 auf 0.89, Gemma 4 26B-A4B von 0.63 auf 0.72. Vermutlich erlaubt das Reasoning, die zehn Optionen gegeneinander abzuwägen, statt die erste plausible zu nehmen. Der Preis: Ein Lauf von Gemma 4 26B-A4B dauert mit Denken eine knappe Stunde statt einer Minute, und 43 von 585 Antworten brachen an der (zugegeben recht strikten) Längengrenze ab, bevor das Modell einen Buchstaben genannt hatte.
Wie der Benchmark bewertet wird
Der Benchmarkt wertet nur den Buchstaben. Er zählt, wenn er die Antwort ist oder sie eröffnet. Einige Beispiele: C, C), **C**, C) Donau, Antwort: C, Die richtige Antwort ist C. Steht statt des Buchstabens genau der Text einer Option da, zählt diese Option ebenfalls-
Keine Antwort sind zwei Buchstaben (A oder B), ein Buchstabe mitten im Satz (Ich denke, es ist C) und eine Begründung ohne Festlegung. Aus einem Fließtext die gemeinte Option herauszulesen, hieße, für das Modell zu entscheiden.
Eine richtige Antwort gibt 1 Punkt, eine falsche oder ungültige 0.
Jedes Modell läuft dreimal. Je Frage zählt der schlechteste der drei Läufe, der Score ist der Anteil der Fragen, die in allen drei Läufen richtig beantwortet wurden. Ein Modell, das eine Frage einmal richtig und zweimal falsch beantwortet, weiß die Antwort nicht. Die Reihenfolge der Optionen steht fest. Würde sie je Lauf verändert, käme eine ungewollte Zufallskomponente ins Ergebnis.
Grenzen, offene Punkte, Anmerkungen
- Die Fragen sind gegen einige Modelle ausgewählt. Damit M02 auch die besten lokalen Modelle fordert, habe ich Fragen gestrichen, die Qwen 3.5 4B und 9B ohne Denken in allen drei Läufen richtig beantwortet haben. Später habe ich zusätzlich gestrichen, was diese beiden Modelle zusammen mit Gemma 4 26B-A4B und Gemma 4 31B immer gelöst haben. Die Werte von Qwen 3.5 4B und 9B liegen deshalb niedriger, als sie auf einer zufälligen Fragenauswahl lägen. Bei den beiden Gemma-Modellen ist der Effekt deutlich schwächer. Qwen 3.8 27B, Claude Haiku 5.5 und alle übrigen Modelle waren an der Auswahl nicht beteiligt.
- Raten bringt fast nichts. In einem einzelnen Lauf trifft Raten jede zehnte Frage. Weil eine Frage aber in allen drei Läufen stimmen muss, bleibt davon praktisch nichts übrig. Qwen 3.5 4B mit 0.17 hat also wenig, aber nicht nichts gewusst.
- Wiedererkennen ist leichter als Abrufen. Ein Modell, das unter zehn Optionen die richtige erkennt, muss sie im Fließtext nicht von selbst nennen. Die nahen Verwechslungen unter den Optionen gleichen das zum Teil aus. Freie Antworten habe ich verworfen, weil sie sich nur über Wortlisten werten lassen, und die sind an den Rändern unscharf.
- Zahlen veralten. Fragen zu Beträgen und Stichtagen von 2026 stimmen nur bis zur nächsten Änderung. Spätere Modelle können sie kennen, frühere nicht. Wer Ergebnisse über Jahre vergleicht, vergleicht auch Trainingsstände.
- 195 Fragen, aber wenige je Thema. Für Bildung, Naturwissenschaft und Weltgeografie gibt es nur ein oder zwei Fragen. Die Werte je Thema im Report sind dort keine Aussage.
- Cloud-Modelle können sich ändern. Hinter demselben Modellnamen kann der Anbieter Gewichte oder Vorgaben austauschen. Ein lokales Modell liefert in einem Jahr dasselbe Ergebnis, ein Cloud-Modell nicht unbedingt.