Googles Crawler, der GoogleBot, crawlt (krabbelt) algorithmusgesteuert im Internet herum, analysiert Daten und legt dabei aufgespürte Webseiten in Googles Index ab Dabei folgt der Crawler sowohl den Links innerhalb einer Website, den sog internen Links, als auch den von der Website wegführenden,...