Crawler
Ein Crawler ist ein Programm, das automatisiert die Dokumente im Web durchsucht. In erster Linie wird ein Crawler für sich wiederholende Aktionen eingestellt, damit das Durchsuchen vollständig automatisch abläuft. Suchmaschinen setzen Crawler mehr und mehr ein, um das World Wide Web zu durchsuchen und einen Index aufzubauen. Andere Crawler können unterschiedliche Arten von Informationen durchsuchen. Der Begriff Crawler stammt von der allerersten Suchmaschine für das Internet, dem Webcrawler. Als Synonym werden ebenfalls die Begriffe „Bot“ oder „Spider“ verwendet.
