Crawl-Delay ist eine Erweiterung des Robots Exclusion Protocol, die von Yahoo und Microsoft eingeführt wurde. In den Google-Webmaster-Infos findet sicht derzeit noch kein Hinweis darauf, dass Google diesen proprietären Befehl beachten würde.
Über einen Befehl der Art Crawl-delay: N wird der jeweilige Crawler angewiesen, die Website nur alle N Sekunden zu besuchen. Sollte also der Yahoo-Crawler („Slurp“) maximal alle 60 Sekunden eine Seite von Ihrer Website abrufen dürfen, dann würde die Anweisung in Ihrer robots.txt so aussehen:
User-agent: Slurp
Crawl-delay: 60
Sie sollten dabei aber beachten, dass Sie damit auch die Anzahl der Seiten, die die Suchmaschinen indexieren oder aktualisieren können, begrenzen. Ein Crawl-Delay von 60 Sekunden etwa führt dazu, dass pro Tag lediglich 1440 Seiten indexiert werden können; für eine Website mit mehreren zehn- oder gar hunderttausend Unterseiten ist das zu wenig, um die Site in den Suchmaschinenbeständen aktuell zu halten.