Ein Crawler, auch als Spider oder Bot bekannt, ist ein Software-Programm, das das Web durchsucht und Informationen von Websites extrahiert, um diese Informationen in einem Index zu speichern, wie es z.B. Suchmaschinen wie Google tun.
Crawler besuchen Webseiten automatisch und folgen den dortigen Links zu anderen Seiten. Sie sammeln Daten über die Seiten, wie z.B. Texte, Bilder und Links, und verwenden diese Daten, um einen Index zu erstellen, der die Grundlage für die Suchergebnisse einer Suchmaschine bildet.
