![\"Crawling](\"https:\/\/www.new-time-seo.ch\/seoblog\/wp-content\/uploads\/2014\/10\/crawling.jpg\")
<\/p>\nVon Google werden regelm\u00e4ssig erhebliche Teile des Webs gecrawlt. Das Crawling ist erforderlich, da nur so die Suchergebnisse auf dem Laufenden gehalten werden k\u00f6nnen. Kommt es auf einer Webseite zu Problemen, verlangsamt die Suchmaschine in der Regel auch das wichtige Crawling oder es wird sogar vollst\u00e4ndig eingestellt.<\/p>\n
<\/p>\n
Um genau dies zu vermeiden, sollten Webseitenbetreiber regelm\u00e4ssig kontrollieren, wie sich das Crawling gestaltet. Grundlegend gibt es Signale, die darauf hindeuten, dass eine Unterbrechung des Crawlings ansteht.<\/p>\n
Das Ziel von Suchmaschinen, ganz gleich ob es sich dabei um Google oder um andere Dienste handelt, ist es in erster Linie ein recht umfassendes Abbild des Internets mit den eigenen Suchergebnissen liefern zu k\u00f6nnen. Damit dies \u00fcberhaupt m\u00f6glich ist, sind die Crawler der Suchmaschinen permanent im Einsatz. Bei ihren Wegen durchs Internet sp\u00fcren sie neue Dokumente auf und erkennen verschiedene Ver\u00e4nderungen. Auf diesem Weg gelingt es ihnen den eigenen Index aktuell zu halten.<\/p>\n
Mittlerweile gibt es im Web eine gigantische Anzahl von Dokumenten, die f\u00fcr Suchmaschinen und User verf\u00fcgbar sind. F\u00fcr Google ist es daher entscheidend, dass die Dokumente m\u00f6glichst schnell abgerufen werden. Grundlegend ist es m\u00f6glich, dass Google das Crawlen einer Webseite stoppt oder zumindest erheblich verlangsamt, wenn es auf der Webseite Probleme gibt oder die Antwortzeit f\u00fcr den Crawler steigt. Ein entscheidendes Element stellt an diesem Punkt die Verbindungszeit dar. Ist die Verbindungszeit, die zwischen Server und Webseite besteht, schlichtweg zu lang, muss damit gerechnet werden, dass sich der Crawler entweder verlangsamt oder das Crawlen von Google vollst\u00e4ndig eingestellt wird.<\/p>\n
Webseitenbetreiber haben durchaus die M\u00f6glichkeit, das Crawlen einer Seite zu kontrollieren. Dies ist \u00fcber die Crawling-Statistiken, die es zu jeder Seite gibt, m\u00f6glich. Hier kann ein Blick auf den zeitlichen Verlauf des Crawlings geworfen werden. Verlangsamt sich das Crawling einer Webseite immer weiter, ist es grundlegend ratsam, nach den Gr\u00fcnden hierf\u00fcr zu suchen.<\/p>\n
Die Verbindungszeit ist aber bei weitem nicht der einzige Grund, der das Crawling von Google behindern kann. Gleiches gilt f\u00fcr http-Statuscodes, die im 500er-Bereich liegen. Sie sind in erster Linie daf\u00fcr, dass es auf dem Server diverse Probleme gibt. Nach aktuellen Aussagen zieht sich der Crawler von Google bei Problemen dieser Art grundlegend zur\u00fcck.<\/p>\n","protected":false},"excerpt":{"rendered":"