Lexikon
robots.txt
Eine Textdatei im Wurzelverzeichnis, die Suchmaschinen-Crawlern sagt, welche Bereiche sie aufrufen dürfen und welche nicht.
Die robots.txt liegt im Wurzelverzeichnis einer Domain (z. B. ihre-domain.de/robots.txt) und steuert, welche Bereiche ein Crawler aufrufen darf. So lassen sich unwichtige Pfade vom Crawling ausschließen und das Crawl-Budget auf die relevanten Seiten lenken.
Wichtig: Eine Sperre in der robots.txt verhindert das Crawlen, aber nicht zwingend die Indexierung - dafür ist ein noindex nötig. Ein Fehler hier kann ganze Website-Bereiche unsichtbar machen, daher gehört sie ins technische SEO.
Verwandte Begriffe
Kostenlos & unverbindlich
Wie steht Ihre Website da?
Der kostenlose Sichtbarkeits-Check zeigt in Sekunden, wo Sie bei Technik, SEO und KI-Sichtbarkeit stehen.
Sichtbarkeits-Check anfordern →