Lexikon
Crawling
Der Vorgang, bei dem Suchmaschinen mit einem Bot Webseiten aufrufen und deren Inhalte und Links einlesen.
Crawling ist der erste Schritt, bevor eine Seite bei Google erscheinen kann: Ein Bot (der Googlebot) ruft URLs auf, liest Inhalte und folgt Links zu weiteren Seiten. Was der Crawler nicht erreicht - etwa durch Sperren in der robots.txt - kann auch nicht in den Index kommen.
Erst nach dem Crawling folgt die Indexierung. Eine saubere Seitenstruktur und interne Verlinkung sorgen dafür, dass wichtige Seiten zuverlässig gefunden werden - Teil des technischen SEO.
Verwandte Begriffe
Kostenlos & unverbindlich
Wie steht Ihre Website da?
Der kostenlose Sichtbarkeits-Check zeigt in Sekunden, wo Sie bei Technik, SEO und KI-Sichtbarkeit stehen.
Sichtbarkeits-Check anfordern →