Robot
Der Begriff Robot dient in der Informationstechnologie generell als Kurzwort für einen Roboter. Im Bereich der Suchmaschinenoptimierung ist damit der Webcrawler einer Suchmaschine gemeint.
Die Aufgabe des Webcrawlers einer Suchmaschine besteht im stetigen Auslesen von Webseiten, wobei das Programm Veränderungen gegenüber dem letzten Besuch automatisch erfasst. Voraussetzung für die Indexierung von Inhalten durch die Webcrawler der Suchmaschinen ist, dass die entsprechenden Webseiten für jedermann frei zugänglich sind. Es ist zudem möglich, den Suchmaschinen-Robots Anweisung zur Nichtberücksichtigung ganzer Webseiten oder von Teilbereichen zu geben. Diese Funktion kommt bei der notwendigen Verwendung derselben Inhalte auf mehreren Webseiten zur Anwendung und verhindert die Einstufung als Double Content.
