Google und die neun unterschiedlichen Web-Crawler

Web-Crawler

Was mir bis dato nicht bewusst war, dass Google neun unterschiedliche Web-Crawler verwendet. Jedes Thema hat tatsächlich einen separaten Crawler. Ob man diese tatsächlich alle kennen muss, sei dahin gestellt.

Sie müssen einen jedoch eines vermitteln, dass Google sich richtig ins Zeug legt, um von den vielen verschiedenen Webseiten die richtigen Informationen zu erhalten.

Wir haben mit unseren Online-Shops nur noch die Aufgabe, es diesen Crawlern so einfach wie möglich zu machen uns zu durchsuchen.

Hier die neun unterschiedlichen Crawler von Google

  • Googlebot für die Websuche
  • Googlebot für die Nachrichten
  • Googlebot für die Bilder
  • Googlebot für die Videos
  • Google Mobile
  • Google für Smartphones
  • Goolge Mobile AdSense
  • Google Mobile AdSense
  • Google AdSense
  • Goolge AdsBot für die Qualitätsüberprüfung

Wer mehr über die einzelnen Web-Crawler erfahren möchte, kann dies direkt von Google erfahren unter: https://support.google.com/webmasters/answer/1061943

Alle die nicht wissen was ein Crawler ist, hier eine kurz Erklärung

Ein Web-Crawler ist ein kleines Programm, welches die Webseite automatisch durchsucht und die Inhalte an Google weiterleitet.

Der Weg, den die Crawler gehen, ist recht unterschiedlich. In den meisten Fällen verfolgt der Crawler den Weg der Links, die auf einer Webseite hinterlegt sind. An der internen Verlinkung einer Webseite hangelt er sich bis zur letzten Unterseite und erhält dadurch meistens eine vollständige Übersicht über die komplette Webseite.

Sollte jedoch eine Webseite einmal nicht intern verlinkt sein, wird diese von den Crawler auch nicht gefunden.

Keine Bewertung vom Crawler

Ein Web-Crawler bewertet die Webseite nicht, sondern durchsucht sie ausschließlich und schickt die gesammelten Informationen Ihrem Empfänger.  Jedoch kann das Verschicken der Daten an verschiedene Kriterien gebunden sein. So ist es möglich, dass der Craweler nur die Daten an den Empfänger verschickt, wenn der Crawler auch wirklich die ganze Webseite durchsuchen darf.

Wenn zum Beispiel von Ihrer Webseite ausgeschlossen wird, dass die CSS Datei nicht gecrawlt werden darf, dann kann es passieren, dass der Crawler einfach wieder verschwindet ohne Ihre Seite weiter zu crawlen. Dies hat jedoch zur Folge, dass Ihr Online-Shop nicht in der Suchmaschine gefunden wird oder zumindestens den meisten Teil davon nicht.

Nicht nur Google hat einen Crawler

Ein Web-Crawler steht nicht nur Google zu Verfügung. Jeder kann so einen Crawler programmieren. Ja, auch Sie könnten das!

Alle gute Suchmaschinen oder SEO-Tools Anbieter schicken welche los auf die lange Reise, um Informationen zu sammeln. Ein Crawler kann für alles Mögliche benutzt werden und nicht nur um Webseiten zu finden und deren Inhalte zu durchsuchen. Viele Marktanalyse-Anbieter schicken Ihre eigenen Crawler los, um nur spezielle Informationen zu erhalten, wie zum Beispiel um von Preisänderungen zu erfahren.

Genauso schicken Bösewichte Ihre Crawler los, um Sicherheitlsücken zu finden, um Ihren Online-Shop zu übernehmen oder schädliche Software zu hinterlassen. Mein Webserver kann hiervon ein Lied singen. Es ist mittlerweile ziemlich schlimm, was dieses Thema angeht.

Leider ist der zuletzt genannte Web-Crawler nicht so nett und lässt sich nicht einfach ausschließen, wie zum Beispiel der Google Web-Crawler. Aber das macht nichts, so lange Ihr Online-Shop auf dem neuesten Stand ist und alle wichtigen Sicherheitsaspekte berücksichtigt wurden. Dann kann Ihnen hier nicht so schnell etwas passieren.

Sie wollen noch mehr erfahren?

Wenn Sie noch mehr über den Google Crawler erfahren möchten: Patrick Sexton hat hierzu eine tolle Erklärung  geschrieben. Diese ist jedoch in Englisch und zu finden unter (externer Link): https://varvy.com/googlebot.html