Die Aufgabe
Das Modell bekommt den Inhalt einer Seite, so wie er aus einem Crawler wie Screaming Frog kommt: 1500 bis 2100 Zeichen mit HTML-Auszeichnung, Zwischenüberschriften, Listen, Abschweifungen und einem Teaser, der auf einen anderen Artikel verweist. Dazu kommt die Bitte um einen deutschen Seitentitel mit 40 bis 60 Zeichen, der das Hauptthema nennt. Ein Zielkeyword gibt es nicht vor. Das Modell muss das Thema selbst finden. Im Alltag würde man das zwar meist vorgeben, aber die KI soll hier zeigen, was sie kann.
Jede Seite ist um ein mehrdeutiges Wort gebaut: Bank, Maus, Kiefer, Hahn, Ton, Leiter. Die Überschrift <h1> nennt nur eine Rubrik („Kleine Reparaturen im Bad“, „Podcast aufnehmen“), nicht das unmittelbar Thema. Ein Modell, das die Rubrik übernimmt oder aus dem Teaser titelt, hat das Thema verfehlt.
Ergebnisse
Die konkreten Modelle inkl. Quantisierung und Sampling-Parameter sowie Hinweise zur benutzten Hardware, findest du in Modelle.
Einordnung
Die Spitze liegt eng beieinander, und dort ist M01 fast gelöst. Die drei besten Modelle schreiben in rund 85 bis 90 % der Fälle einen Titel ohne jeden Abzug. Was sie trennt, sind wenige Seiten.
Die Gemma-4-Modelle werden ihrem Ruf gerecht. Die Gemma-4-Modelle von Google gelten als “gute” Textermodelle und das bestätigen sie in diesem Benchmark, der sowohl Textverständnis als auch Texterstellung bewertet.
Kolibri 1 ist ein gutes Modell, dem man anmerkt, dass es mit Fokus auf deutsche Texte trainiert wurde. Leider ist es nicht gut darin, alle formalen Vorgaben einzuhalten. Ein Titel wie “Birnen im eigenen Garten pflücken und richtig lagern ↵ ↵” ist korrekt, bis auf die Sonderzeichen am Ende. Auch die Länge wurde nicht immer eingehalten. Beides ließe sich in einem Workflow gut korrigieren.
Gescheitert wird fast nur am Thema. Am falschen Wortsinn oder am Englischen scheitert ohne Denken kein einziger Titel, an Länge und Format fast nur Kolibri 1. Neun von zehn Fehlschlägen sind Titel ohne das Keyword. Dafür gibt es zwei Gründe:
- Die Rubrik aus der Überschrift wird zum Thema. Das ist gut die Hälfte der Fälle: „Sicher arbeiten in der Höhe: Die 3 häufigsten Fehler“ statt eines Titels über Leitern. Die häufigsten Abzüge kommen aus demselben Grund: Das Thema steht im Titel, aber erst hinter der Rubrik.
- Das Thema steckt in einem zusammengesetzten Wort. „Badarmatur reparieren“, „Haushaltsstrom sparen“, „Tipps zum Leitergebrauch“: Das Modell hat das Thema gefunden, die wörtliche Suche aber nicht (siehe Grenzen).
Am schwersten sind die Seiten, deren Rubrik selbst wie ein Thema aussieht. Bei „Podcast aufnehmen“ geht es um guten Ton. Über alle Modelle und Läufe erreicht diese Seite im Mittel 0.36. Auch das starke Cloud-Modell schreibt dreimal „Podcast aufnehmen: Mikrofon, Raum und Pegel richtig einstellen“.
Denken lohnt sich bei M01 nicht verlässlich. Die ersten Läufe mit Denken sind uneinheitlich: Einige Modelle werden besser, andere deutlich schlechter, und ein Lauf dauert ein Vielfaches. Mehrere Modelle zählen Buchstaben, um die 40 bis 60 Zeichen zu treffen, stoßen dabei an die Denkgrenze von 512 Tokens und schreiben ihre Überlegungen in die Antwort. Für eine Massenaufgabe wie Seitentitel empfiehlt sich deshalb zumindest für die ersten Versuche, das Denken zu deaktivieren.
Die Krux mit dem Denken
Wie der Benchmark bewertet wird
Jeder Titel wird rein maschinell geprüft, ohne KI als Richter. Fünf Prüfungen müssen alle bestehen:
| Prüfung | Was sie verlangt |
|---|---|
| Länge | 35 bis 96 Zeichen |
| Keyword | eine der Formen, unter denen ein guter Titel das Thema nennt („Hahn“, „Wasserhahn“, „Armatur“) |
| Deutsch | kein Abgleiten ins Englische |
| Bedeutung | das richtige Wort getroffen, also bei „Kiefer“ der Baum und nicht der Knochen |
| Format | nur der Titel: eine Zeile, keine Anführungszeichen, kein Markdown, keine Einleitung |
Scheitert eine Prüfung, gibt es 0 Punkte. Ein Titel mit vier von fünf bestandenen Prüfungen ist nicht zu 80 % brauchbar, er muss angefasst werden.
Ein Titel, der alles besteht, bekommt 1 Punkt, abzüglich kleiner Abzüge für Schwächen, die man sieht, aber nicht sofort beheben muss:
- Keyword zu spät: −0.2, wenn das Thema erst nach Zeichen 33 beginnt. Meist steht dann die Rubrik vorne.
- Überlänge: −0.1 / −0.3 / −0.5 für 67–76 / 77–86 / 87–96 Zeichen. Google kürzt, der Titel bleibt aber brauchbar.
- Stil: −0.1 oder −0.2 für Titel ohne Leerzeichen, mit kleinem Anfang, Title Case („Igel Richtig Füttern“), Sonderzeichen oder Schlusspunkt.
Ein bestandener Titel bekommt mindestens 0.1 und liegt damit immer über einem gescheiterten.
Jedes Modell läuft dreimal. Je Seite zählt der schlechteste der drei Titel, der Score ist das Mittel über die 29 Seiten. Ein Modell, das einen Titel in zwei Läufen gut und im dritten völlig daneben schreibt, taugt nicht für den unbeaufsichtigten Einsatz, und im Mittel der Läufe fiele dieser Aussetzer kaum auf. Warum es sinnvoll ist, so zu rechnen, steht unter Methodik.
Grenzen, offene Punkte, Anmerkungen
- Das Keyword wird wörtlich gesucht. „Leitergebrauch“ enthält für die Prüfung nicht „Leiter“, „Badarmatur“ nicht „Armatur“. Die Liste der gültigen Formen enthält Synonyme und gängige Zusammensetzungen, aber nicht jede denkbare. Vertretbare Titel fallen dadurch durch, und das ist kein Einzelfall: Ein guter Teil der Fehlschläge geht darauf zurück. Der Score unterschätzt die Modelle also eher. Dafür lässt sich jedes Ergebnis nachrechnen.
- Gemessen wird Brauchbarkeit, nicht Qualität. Ob ein Titel gut klingt oder zum Klicken einlädt, prüft M01 nicht. Ein Urteil darüber ließe sich nicht nachrechnen. Wer es trotzdem wissen will: Das Repo enthält einen optionalen Titel-Judge, ein zweites Modell, das jeden Titel als brauchbar oder unbrauchbar einstuft. Er geht nicht in den Score ein, weil der Score nur deterministisch berechnet wird.
- 29 Seiten sind eine kleine Stichprobe. Einzelne Seiten verschieben den Score eines Modells um mehrere Hundertstel. Unterschiede von 0.02 oder 0.03 sind keine Rangfolge.
- Strenger mit mehr Läufen. Weil der schlechteste Lauf zählt, fällt der Score mit fünf Läufen eher niedriger aus als mit drei. Vergleichbar sind nur Ergebnisse mit gleicher Laufzahl.
- Sampling des Servers. Lokale Modelle laufen mit den Sampling-Werten, die ihr Server vorgibt. Sie stehen je Modell im Report. Mit Temperatur 0 würden alle drei Läufe denselben Titel liefern, und der schlechteste Lauf sagte nichts mehr über Verlässlichkeit.
- Cloud-Modelle können sich ändern. Hinter demselben Modellnamen kann der Anbieter Gewichte oder Vorgaben austauschen. Ein lokales Modell liefert in einem Jahr dasselbe Ergebnis, ein Cloud-Modell nicht unbedingt.