Die Aufgabe

Das Modell bekommt ein Foto und die Bitte um einen deutschen ALT-Text mit 40 bis 110 Zeichen. Das verlangt ein Modell mit Bildverständnis. Kolibri 1 hat keines und fehlt deshalb in dieser Aufgabe.

Gerade hier sind lokale Modelle interessant: Produktfotos, Kundenbilder und Screenshots aus internen Systemen schickt man ungern an eine fremde API. Und ein Shop mit ein paar tausend leeren ALT-Attributen ist der Regelfall, nicht die Ausnahme.

Die 32 Bilder stammen von Pixabay, gemessen wird mit 640 Pixeln an der langen Seite. Der Bestand ist absichtlich gemischt. Neben Bildern mit einem eindeutigen Motiv (ein Schaf, ein Porsche, der Reichstag) stehen Szenen, bei denen schon strittig ist, was das Hauptmotiv ist: eine Menschenmenge auf dem Oktoberfest, ein schwimmender Markt, ein volles Obstregal.

Einige Bilder laden zum Erfinden ein: Pinguine auf einem sonnigen Felsstrand, ohne Schnee und Eis. Ein Bootshaus, in dem kein Boot liegt. Der Friedensengel in München vor kahlen Winterbäumen, aber ohne Schnee. Drei Bilder bilden ein Verwechslungs-Dreieck: bunte Zapfpistolen, zwei verrostete Zapfsäulen im hohen Gras und ein Ladestecker für Elektroautos, der aussieht wie eine Zapfpistole.

Ergebnisse

Ergebnisse M10 ohne Reasoning
Ergebnisse M10 mit Reasoning

Ohne Denken lief jedes Modell dreimal. Mit Denken habe ich die meisten Modelle bisher nur einmal gemessen. Die Zahl der Läufe steht am Balken. Ein einzelner Lauf ist milder als der schlechteste von dreien, die beiden Grafiken sind deshalb nur grob vergleichbar.

Die konkreten Modelle inkl. Quantisierung und Sampling-Parameter sowie Hinweise zur benutzten Hardware findest du in Modelle.

Einordnung

Bei ALT-Texten liegen die Gemma-Modelle klar vorn, und Größe spielt kaum eine Rolle. Ohne Denken kommen Gemma 4 26B-A4B auf 0.88, Gemma 4 31B und Gemma 4 12B auf 0.84, Claude Haiku 5.5 auf 0.80. Gemma 4 12B mit 7,9 GB Dateigröße schreibt hier so gute ALT-Texte wie das mehr als doppelt so große 31B-Modell. Dahinter kommt eine große Lücke: Qwen 3.8 27B erreicht 0.36, Gemma 4 E4B und die beiden Qwen-3.5-Modelle liegen um 0.30.

Die Qwen-Modelle scheitern vor allem an der Länge. Gefragt sind 40 bis 110 Zeichen, die Qwen-Modelle schreiben ohne Denken oft 160 bis 190. Sie beschreiben alles, was sie sehen: die Farbe der Dächer, das Verkehrsschild am Rand, den Mann im Hintergrund. Qwen 3.8 27B antwortet außerdem einmal auf Englisch und leitet einmal mit „Der Alt-Titel lautet:“ ein.

Das Motiv zu benennen, ist die häufigste Hürde. Gut zwei Drittel aller Fehlschläge ohne Denken betreffen das Hauptmotiv. Manches davon ist ein echter Fehler: Das Schaf wird bei drei Modellen zur Ziege, die Zapfpistolen werden zu „Zapfsäulen“. Bei Szenen fehlt oft das eine Wort, auf das es ankommt: „Menschenmenge auf einem Festplatz“ statt Oktoberfest, „Riesenrad und Brunnen am Abend“ statt Weihnachtsmarkt. Das ist korrekt beschrieben, sagt aber nicht, was das Bild zeigt.

Erfunden wird selten, aber dann mit Überzeugung. Ein Bild zeigt den Münchner Olympiaturm bei Sonnenuntergang. Gemma 4 31B nennt ihn in allen drei Läufen „Berliner Fernsehturm“, Gemma 4 12B und Gemma 4 E4B ebenso. Den Münchner Friedensengel verlegt Gemma 4 12B als „Siegessäule in Berlin“. Beim Ladestecker schreiben zwei Modelle von einem E-Auto, obwohl keines im Bild ist. Solche Texte lesen sich gut und sind falsch. Genau die landen ungeprüft auf tausend Seiten.

Denken hilft kleinen Modellen, bringt aber ein neues Problem. Gemma 4 E4B kommt mit Denken auf 0.78 statt 0.31, Qwen 3.5 9B auf 0.42 statt 0.29, beides in Einzelläufen. Die Qwen-3.5-Modelle zählen beim Denken Buchstaben, um die Länge zu treffen, stoßen an die Denkgrenze und schreiben ihre Überlegungen in die Antwort: „Check character count: R-o-t—w-e-i-ß-e-r …“. Dasselbe Muster zeigt sich bei M01. Für die Gemma-Modelle lohnt sich Denken bei M10 kaum: Sie sind ohne schon gut und mit Denken um ein Vielfaches langsamer.

Wie der Benchmark bewertet wird

Jeder ALT-Text wird rein maschinell geprüft, ohne KI als Richter. Sieben Prüfungen müssen alle bestehen:

Prüfung Was sie verlangt
Länge 30 bis 155 Zeichen
Motiv das Hauptmotiv ist benannt („Schaf“, „Zapfpistole“, „Oktoberfest“)
Zusammenhang Ort, Umgebung oder Situation ist benannt
Deutsch kein Abgleiten ins Englische
Nichts erfunden kein Wort von der Sperrliste des Bildes
Format eine Zeile, kein Markdown, keine Anführungszeichen
Kein Vorspann kein „Bild von …“, kein „Das Foto zeigt …“

Scheitert eine Prüfung, gibt es 0 Punkte. Ein Text, der alles besteht, bekommt 1 Punkt. Die einzige Abstufung ist die Überlänge: −0.1 / −0.3 / −0.5 für 126–135 / 136–145 / 146–155 Zeichen. Ein Screenreader, der bei 125 Zeichen abschneidet, verliert dann nur die letzten Wörter.

Die Sperrliste ist die Prüfung, um die es geht. Ein Wort kommt nur hinein, wenn es nachweislich nicht im Bild ist und das Klischee zum Motiv wäre: Schnee und Eisscholle bei den Pinguinen, Halloween und Kerze bei den Kürbissen, Boot beim leeren Bootshaus. Bei Bildern aus München stehen auch „Berlin“ und „Berliner“ darauf, bei Bildern aus Berlin „München“ und „Münchner“. Verlangt wird dabei keine Ortskenntnis: „über der Stadt“ ist richtig. Nur die erfundene Genauigkeit ist falsch.

Zusammengesetzte Wörter zählen über ihr letztes Glied. „Holzhütte“ trifft „Hütte“, „Herbstkürbisse“ trifft „Kürbisse“. Im Deutschen bestimmt das letzte Glied, was etwas ist, und Bildbeschreibungen bestehen fast nur aus solchen Wörtern. „Kürbisfeld“ trifft dagegen nicht „Kürbis“, denn ein Feld ist kein Kürbis.

Jedes Modell läuft dreimal. Je Bild zählt der schlechteste der drei Texte, der Score ist das Mittel über die 32 Bilder. Warum es sinnvoll ist, so zu rechnen, steht unter Methodik.

Grenzen, offene Punkte, Anmerkungen

  • Die Wortlisten sind nicht vollständig. „Spritpistolen“ ist ein richtiges Wort für Zapfpistolen, steht aber nicht auf der Liste. „Oktoberfeststraße“ und „Volksfestplatz“ nennen das Motiv, enden aber auf Straße und Platz und treffen deshalb nicht. Vertretbare Texte fallen dadurch durch. Der Score unterschätzt die Modelle also eher. Dafür lässt sich jedes Ergebnis nachrechnen.
  • Gemessen wird Brauchbarkeit, nicht Qualität. Ob ein ALT-Text gut formuliert ist oder einem blinden Menschen wirklich hilft, prüft M10 nicht. Ein Urteil darüber ließe sich nicht nachrechnen.
  • Was am Bild nicht entscheidbar ist, wird nicht verlangt. Ob eine Parabolschüssel zu einer Satellitenstation oder zu einem Radioteleskop gehört, sieht man dem Bild nicht an. Beides gilt als richtig. Sonst wäre die Aufgabe eine Wissensfrage, und dafür gibt es M02.
  • Die Bilder liegen bei Pixabay. Sie sind nicht im Repo, sondern werden über ihre Adresse geladen und über eine Prüfsumme kontrolliert. Kodiert Pixabay ein Bild neu oder löscht es, misst ein späterer Lauf nicht mehr auf denselben Bytes.
  • 32 Bilder sind eine kleine Stichprobe. Ein einziges Bild verschiebt den Score um 0.03. Unterschiede in dieser Größe sind keine Rangfolge.
  • Cloud-Modelle können sich ändern. Hinter demselben Modellnamen kann der Anbieter Gewichte oder Vorgaben austauschen. Ein lokales Modell liefert in einem Jahr dasselbe Ergebnis, ein Cloud-Modell nicht unbedingt.