Googlebot

/Googlebot

Der Googlebot ist der Crawler von Google, der Dokumente aus dem Netz sammelt und jene für den Google Index sowie später die Google-Suche zusammenstellt. Er sammelt Dokumente durch ein automatisiertes Verfahren, das vergleichbar wie ein Webbrowser arbeitet. Der Bot sendet eine Anfrage und erhält von dem Server eine Antwort. Wenn definierte Parameter dem Googlebot Zugang bewilligen, lädt er eine einzelne Webseite, die unter einer URL erreichbar ist, herunter und speichert diese zunächst im Index von Google. Auf diese Weise crawlt der Googlebot das globale Internet, wobei er auf verteilte Ressourcen zugreifen kann: Die Rechenkapazität für den Googlebot ist auf ein riesiges System von Rechenzentren verteilt, sodass er zur gleichen Zeit Tausende Homepages crawlen kann.

2016-09-12T11:48:25+00:00