Die Aufgabe

Das Modell bekommt einen kurzen deutschen Produkttext und soll daraus ein JSON-Objekt mit sieben Feldern machen: Produktname, Hersteller, Preis, Farbe, Material, Artikelnummer und ob das Produkt lieferbar ist. Das ist das häufigste Datenprojekt im SEO-Alltag: ein Produktfeed, eine Schema.org-Auszeichnung, der Abgleich mit dem Warenwirtschaftssystem. Ein Modell, das das zuverlässig kann, ersetzt einen Haufen regulärer Ausdrücke. Eines, das es fast kann, schreibt unbemerkt Fehler in eine Datenbank.

Jeder der 30 Texte enthält eine oder mehrere Fallen:

Falle Beispiel aus dem Text
Streichpreis „Statt 249,00 € jetzt nur 199,95 €“
Versandkosten „29,90 €. Versand 4,99 €.“
deutsche Zahlenschreibweise „1.299,00“ ist 1299, nicht 1,299
Gewicht neben Preis „Nur 1.199,00 g leicht“ bei einem Preis von 1.049,00 €
Staffelpreis „Einzelpreis 11,50 €, ab 10 Stück 8,90 €“
Zubehör im Text „Passendes Zubehör: Ersatzkartusche, 12,90 €“
fehlende Angabe kein Hersteller genannt, richtig ist dann null
Lager ohne Stichwort „Restposten, solange der Vorrat reicht“

Der Prompt beschreibt jedes Feld, nennt aber keine der Fallen. Stünde dort „Versandkosten sind nicht der Preis“, würde nur noch gemessen, ob ein Modell eine Regel befolgt, die vollständig im Prompt steht. Das Unterscheiden ist die Aufgabe.

Zwölf der 30 Texte nennen keinen Hersteller. Dort ist null die richtige Antwort und der schwierigere Fall: Das Modell kann nichts abschreiben, sondern muss erkennen, dass etwas fehlt.

Ergebnisse

Ergebnisse M03 ohne Reasoning
Ergebnisse M03 mit Reasoning

Ohne Denken lief jedes Modell dreimal. Mit Denken habe ich die meisten Modelle bisher nur einmal gemessen. Die Zahl der Läufe steht am Balken. Ein einzelner Lauf ist milder als der schlechteste von dreien, die beiden Grafiken sind deshalb nur grob vergleichbar.

Die konkreten Modelle inkl. Quantisierung und Sampling-Parameter sowie Hinweise zur benutzten Hardware findest du in Modelle.

Einordnung

M03 ist die Aufgabe, die lokale Modelle am besten lösen. Gemma 4 31B und Gemma 4 26B-A4B kommen ohne Denken auf 0.93, Claude Haiku 5.5 und Qwen 3.8 27B auf 0.87. Selbst das schwächste Modell, Gemma 4 E4B, liefert 60 % der Datensätze in allen drei Läufen fehlerfrei. Trotzdem heißt 0.93: Von 30 Produkten müssen zwei angefasst werden. Für einen Feed mit zehntausend Artikeln ist das ohne Kontrolle zu viel.

Die Preisfallen funktionieren schlechter als gedacht, und zwar zugunsten der Modelle. Von gut 100 gescheiterten Antworten ohne Denken scheitern nur etwa ein Dutzend am Preis. Streichpreise, Versandkosten und Bewertungssterne erkennen fast alle Modelle. Wo es beim Preis doch schiefgeht, dann typisch:

  • Staffelpreis: Kolibri 1 und Gemma 4 E4B nehmen die 8,90 € ab 10 Stück statt des Einzelpreises.
  • Deutsche Zahlenschreibweise: Aus „1.199,00 €“ machen Qwen 3.5 4B und 9B 1.199 oder 11.99. Gemma 4 E4B schreibt einmal 1.199.00 und damit ungültiges JSON.

Gescheitert wird vor allem an Name und Hersteller. Drei von vier Fehlschlägen betreffen eines dieser beiden Felder. Bei „AquaPure Trinkflasche aus Edelstahl“ schreiben sechs von neun Modellen „Trinkflasche“ als Namen und „AquaPure“ als Hersteller. Der Prompt sagt ausdrücklich: Der Name ist der Eigenname, und nennt der Text nur einen Eigennamen, ist das der Produktname und kein Hersteller. Die Modelle folgen trotzdem dem Muster „Marke vor Produktart“, das in echten Produkttexten meistens stimmt. Für die Praxis heißt das: Was ein Modell als Hersteller einträgt, kann ein Produktname sein.

Ein Text hat ohne Denken kein Modell dreimal richtig verarbeitet. Beim Jahrbuch „PlanVoll vom Verlag Fachblatt“ schreiben die meisten Modelle „Verlag Fachblatt“ statt „Fachblatt“ als Hersteller, und die Wertung verlangt Zeichengleichheit. Das ist streng, und darüber kann man streiten (siehe Grenzen).

Denken hilft, besonders kleinen Modellen. Qwen 3.5 9B kommt mit Denken auf 0.93 statt 0.70, Gemma 4 E4B auf 0.93 statt 0.60, Kolibri 1 auf 1.00. Das sind aber Einzelläufe, also mildere Wertung. Bei Gemma 4 26B-A4B mit vier Läufen bleibt es bei 0.93. Ein Lauf dauert mit Denken ein Vielfaches: bei Gemma 4 26B-A4B 7 Minuten statt 47 Sekunden. Für eine Massenaufgabe ist ein großes Modell ohne Denken die bessere Wahl als ein kleines mit Denken.

Wie der Benchmark bewertet wird

Jedes Feld wird einzeln geprüft, mit der Regel, die zum Feld passt:

Feld Regel
Name, Material Der erwartete Wert steht als Wort in der Antwort („Pfanne TitanCook“ enthält „TitanCook“)
Hersteller, Farbe, Artikelnummer zeichengleich
Preis eine Zahl, höchstens ein Cent Abweichung
lieferbar echtes true oder false, nicht 1 oder "ja"

Ein Datensatz gibt 1 Punkt, wenn alle sieben Felder stimmen, sonst 0. Ein Produkt mit sechs richtigen Feldern geht nicht zu sechs Siebteln in den Feed, es muss angefasst werden, genau wie eines mit null richtigen Feldern. Abzüge gibt es keine.

Die Antwort muss genau ein JSON-Objekt mit den sieben Schlüsseln auf oberster Ebene sein. Ein Codeblock darum ist erlaubt. Eine Hülle wie {"products": [...]} packe ich nicht aus: Das Format ist Teil der Anforderung, und die Vorgabe steht vollständig im Prompt.

Jedes Modell läuft dreimal. Je Text zählt der schlechteste der drei Läufe, der Score ist das Mittel über die 30 Texte. Warum es sinnvoll ist, so zu rechnen, steht unter Methodik.

Grenzen, offene Punkte, Anmerkungen

  • Hersteller, Farbe und Artikelnummer müssen zeichengleich sein. „Verlag Fachblatt“ statt „Fachblatt“ ist damit falsch, „anthrazit“ statt „Anthrazit“ ebenso. Ich habe das mit Absicht nicht gelockert: Eine Lockerung mit unbekannter Wirkung ließe sich später nicht mehr von der Leistung des Modells trennen. Der Score unterschätzt die Modelle dadurch eher. Jede Antwort steht im Report im Wortlaut, dort lässt sich nachsehen, woran sie gescheitert ist.
  • Die Texte sind kurz. Ein bis drei Sätze, die Fallen dicht beieinander. Eine echte Produktseite ist länger und hat mehr Ablenkung, aber auch mehr Struktur. Wie sich die Ergebnisse auf lange Seiten übertragen, misst M03 nicht.
  • 30 Texte sind eine kleine Stichprobe. Ein einziger Text verschiebt den Score um 0.03. Unterschiede in dieser Größe sind keine Rangfolge.
  • Die Schwierigkeitsstufen sind nicht kalibriert. Die Texte sind in fünf Stufen eingeteilt, aber die Einteilung ist meine Einschätzung und nicht gemessen. Die Spalten je Stufe im Report sind deshalb kein Schwierigkeitsprofil.
  • Cloud-Modelle können sich ändern. Hinter demselben Modellnamen kann der Anbieter Gewichte oder Vorgaben austauschen. Ein lokales Modell liefert in einem Jahr dasselbe Ergebnis, ein Cloud-Modell nicht unbedingt.