Crawler

Ein Crawler ist ein Computerprogramm, welches das Internet durchsucht. Es geht durch sämtliche Dokumente im Web und speichert Informationen über die verschieden Webseiten die es findet. Welche Informationen das sind, hängt von der Programmierung des Crawlers ab.