Die Robots.txt ist eine Datei auf Webservern, die Suchmaschinen-Crawlern Anweisungen darüber gibt, welche Bereiche oder Seiten einer Webseite sie crawlen oder nicht crawlen dürfen.
Eine korrekt konfigurierte Robots.txt ermöglicht es Website-Betreibern, die Crawling-Aktivitäten von Suchmaschinen zu steuern, wodurch sichergestellt wird, dass wichtige Seiten gecrawlt und indexiert, während nicht relevante oder sensible Seiten ausgeschlossen werden.