Die Aufgabe

Anders als in den M-Aufgaben bekommt das Modell hier keinen Text in den Prompt. Es bekommt einen echten Chrome, den es über Werkzeuge bedient: Seiten aufrufen, Skripte ausführen, klicken, scrollen, die Kennung des Browsers ändern, den Netzwerkverkehr ansehen. Dazu eine Liste von 26 Adressen eines kleinen Shops und einen Katalog von 22 Fehlertypen. Am Ende soll es eine Liste abgeben: auf welcher Seite welcher Fehler steckt.

Die Fehler sind solche, die erst sichtbar werden, wenn die Seite läuft:

Was man tun muss Beispiel für einen Befund
die Seite rendern JavaScript ändert den Title oder setzt nachträglich noindex
das Netzwerk ansehen ein Skript lädt ein weiteres Skript, eine Weiterleitungskette
messen ein Layout-Shift nach dem Laden, das größte Bild wird lazy geladen
scrollen der Bestand lädt endlos nach, ohne Seitennavigation
klicken ein Button blockiert die Seite für mehr als 200 ms
mehrere Seiten vergleichen zwei Seiten mit demselben Title, ein Canonical auf eine noindex-Seite
sich als Googlebot ausgeben der Server liefert Suchmaschinen anderes HTML als Besuchern
eine Seite zweimal aufrufen beim zweiten Besuch kommt die Seite mit noindex

31 solcher Befunde gibt es. Dazu kommen 14 Fallen, die wie ein Befund aussehen und keiner sind: ein Layout-Shift knapp unter der Schwelle, ein lazy geladenes Bild, das richtig eingesetzt ist, eine Weiterleitung in einem Code-Zweig, der nie läuft. Wer Muster statt Zustände meldet, sammelt dort Fehlalarme. Vier Seiten haben gar keinen Befund.

Die Site läuft in einem abgeschotteten Docker-Netz unter www.example.net. Das Modell kann nichts nachschlagen und nichts außerhalb erreichen.

Ergebnisse

Ergebnisse A01 ohne Reasoning
Ergebnisse A01 mit Reasoning

Ohne Denken lief jedes Modell dreimal. Mit Denken habe ich die meisten Modelle bisher nur einmal gemessen, Claude Haiku 5.5 dreimal, Qwen 3.8 27B und Qwen 3.6 35B-A3B zweimal. Die Zahl der Läufe steht am Balken. Ein einzelner Lauf ist milder als der schlechteste von dreien, die beiden Grafiken sind deshalb nur grob vergleichbar.

Die konkreten Modelle inkl. Quantisierung und Sampling-Parameter sowie Hinweise zur benutzten Hardware findest du in Modelle.

Einordnung

Ohne Denken scheitern fast alle Modelle an A01. Nur Qwen 3.8 27B kommt auf einen brauchbaren Wert, 0.52. Gemma 4 31B erreicht 0.22, alle anderen liegen bei 0.13 oder darunter. Viele Läufe enden mit einer leeren Antwort: Das Modell hört auf, bevor es eine Liste abgibt. Claude Haiku 5.5 tut das ohne Denken in allen drei Läufen, meist schon nach einer halben Minute.

Mit Denken spielt ein lokales Modell auf Augenhöhe mit der Cloud. Qwen 3.8 27B kommt mit Denken auf 0.93, Claude Haiku 5.5 auf 0.91. In einem der beiden Läufe hat Qwen 3.8 27B alle 31 Befunde gefunden, ohne einen einzigen Fehlalarm. Das ist eine Datei von 16 GB auf zwei Grafikkarten mit je 12 GB. Der Unterschied liegt in der Zeit: Haiku braucht für einen Lauf gut 5 Minuten, Qwen 3.8 27B fast eine Stunde.

Ohne Denken findet Qwen 3.8 27B viel, aber nicht das Schwierige. In jedem der drei Läufe meldet es rund 25 der 31 Befunde, und von seinen Meldungen stimmen 83 bis 100 %. Es fehlen aber immer dieselben: die Auslieferung an Suchmaschinen und der zweite Besuch. Um sie zu finden, muss man sich als Googlebot ausgeben oder eine Seite ein zweites Mal aufrufen. Darauf kommt das Modell ohne Denken nicht. Damit bleiben zwei der fünf Fähigkeitsklassen leer, und weil der Score jede Klasse gleich gewichtet (siehe unten), kostet das fast die Hälfte der Punkte.

Die Gemma-Modelle arbeiten genau, aber nicht gründlich. Gemma 4 31B meldet mit Denken 18 Befunde, davon 17 richtig. Es hört nur zu früh auf. Gemma 4 26B-A4B findet mit 23 mehr, meldet aber auch 8 Fehlalarme. Beide kommen in ihrem einzigen Lauf mit Denken auf 0.46 bis 0.47.

Kleine Modelle sind dieser Aufgabe nicht gewachsen. Gemma 4 E4B, Gemma 4 12B, Qwen 3.5 4B und 9B bleiben mit und ohne Denken bei 0.22 oder darunter. Viele ihrer Läufe enden ohne Liste oder mit einer Handvoll Treffern.

Der Kontext ist eine harte Grenze. Ein Agent schickt bei jedem Schritt das ganze bisherige Gespräch mit, und ein Abbild einer Browserseite kostet mehrere tausend Tokens. In meinen Läufen wuchs der Kontext auf 40.000 bis über 110.000 Tokens. Qwen 3.8 27B hat mit Denken die 131.072 Tokens seines Kontexts ausgeschöpft. Kolibri 1 lief mit 32.768 Tokens und stieß daran an. Unter 64.000 Tokens Kontext lohnt sich A01 nicht.

Wie der Benchmark bewertet wird

Jeder Fehlertyp gehört zu einer Fähigkeitsklasse. Die Klasse benennt die billigste Strategie, mit der man den Befund findet:

Klasse was genügt Befunde
Quelltext die ausgelieferten Dateien lesen (HTML, JavaScript, CSS, Sitemap) 18
Netzwerk Statuscodes und Weiterleitungsketten ansehen 5
Rendern das gerenderte DOM, Größen und Positionen messen 4
Besondere Anfrage eine andere Kennung senden, den Cache umgehen 2
Zweiter Aufruf dieselbe Adresse zweimal laden 2

Je Klasse rechne ich ein F1-Maß aus Precision (wie viele Meldungen stimmen) und Recall (wie viele Befunde gefunden wurden). Der Score ist das Mittel über die fünf Klassen. Damit wiegt jede Fähigkeit gleich viel, nicht so viel wie ihr Anteil an den 31 Befunden. Ein Modell, das nur den Quelltext liest und alle 18 Befunde dort findet, kommt auf 0.20, nicht auf 0.73.

Fehlalarme zählen gegen die Klasse des gemeldeten Fehlertyps. Wer einfach alles meldet, jede Seite mit jedem Fehlertyp, kommt auf 0.12.

Alles-oder-nichts wie bei M01, M03 und M10 wäre hier sinnlos: Ein Lauf ist ein ganzer Auftrag über 26 Seiten. Es gibt also nur einen Datensatz, und je Modell zählt der schlechteste der drei Läufe. Warum es sinnvoll ist, so zu rechnen, steht unter Methodik.

Grenzen, offene Punkte, Anmerkungen

  • Ein Datensatz, große Streuung. Weil A01 nur aus einem Auftrag besteht, hängt der Score an einem einzigen Lauf, dem schlechtesten. Qwen 3.5 9B kommt ohne Denken auf 0.22, 0.00 und 0.27. Bei den Einzelläufen mit Denken kann ein zweiter Lauf deutlich niedriger liegen.
  • Gemessen wird das Modell, nicht ein Agenten-Programm. Die Läufe hier nutzen eine schlichte Werkzeugschleife von Inspect. Ein Agenten-Framework mit eigener Planung oder Gedächtnis kann aus demselben Modell mehr oder weniger herausholen. Das Repo kann A01 auch über das Agenten-CLI goose laufen lassen. Messungen mit diversen Agenten werde ich im Laufe der Zeit nachreichen.
  • Warum Haiku ohne Denken nichts abgibt, habe ich noch nicht untersucht. Die drei Läufe enden nach wenigen Schritten ohne Liste. Ob das am Modell liegt oder an der Kombination aus abgeschaltetem Denken und Werkzeugaufrufen, ist offen.
  • Die Site ist klein und künstlich. 26 Adressen, dicht gepackt mit Fehlern und Fallen. Ein echter Shop hat tausende Seiten, aber selten so viele Fehler auf einmal. A01 misst, ob ein Modell einen Browser wie ein SEO benutzen kann, nicht, ob es eine große Site in vertretbarer Zeit durcharbeitet.
  • A01 braucht Docker und Zeit. Ein Lauf dauert lokal zwischen einigen Minuten und über einer Stunde, und die Prüfumgebung läuft in Containern. Wie man die Testsite selbst ansieht und mit einem Crawler wie Screaming Frog prüft, steht im Repo.
  • Cloud-Modelle können sich ändern. Hinter demselben Modellnamen kann der Anbieter Gewichte oder Vorgaben austauschen. Ein lokales Modell liefert in einem Jahr dasselbe Ergebnis, ein Cloud-Modell nicht unbedingt.