Ein Crawler (engl. to crawl = kriechen) ist ein Computerprogramm, das im Web Seite für Seite besucht und gefundene Daten abspeichert.
Crawler werden von Suchmaschinen eingesetzt, um ihren Datenbestand aufzubauen. Eine Suchmaschine gibt ihrem Crawler eine Liste von zu besuchenden Adressen (URLs). Das Programm besucht die erste Seite der Liste, speichert den Inhalt in einer Datenbank ab und sucht auf dieser Seite nach neuen Links. Die neu gefundenen Links werden dann an die Liste der abzuarbeitenden Adressen angefügt.
Auf diese Weise kann ein Crawler alle Seiten im Web, die über beliebig viele Zwischenschritte verbunden sind, besuchen. Der Name Crawler kommt denn auch daher, dass das Programm im Web quasi von Seite zu Seite „kriecht“.