![\"sitemap](\"https:\/\/www.new-time-seo.ch\/seoblog\/wp-content\/uploads\/2015\/12\/sitemap-xml-robots-txt.jpg\")
<\/p>\nEine robots.txt ist erforderlich, da im Protokoll der Suchmaschinen festgelegt ist, dass der Robot (= der User Agent) beim Aufruf einer Seite zuerst das Root Verzeichnis sichtet. Dort sucht dieser nach der robots.txt Datei. Diese wird von dem User Agent ausgelesen und durch diesen interpretiert.<\/p>\n
<\/p>\n
Die robots.txt dient Suchmaschinen wie Google dazu, die Inhalte auf einer Webseite zu finden, und diese entsprechend des eigenen Algorithmus interpretieren und auslesen zu k\u00f6nnen. Ohne die robots.txt Datei ist es aufgrund des Protokolls nicht m\u00f6glich, die Inhalte der Webseite auslesen zu k\u00f6nnen. Dies zeigt sich immer dann, wenn bei Suchergebnissen angegeben ist, dass die Inhalte einer Webseite aufgrund einer fehlenden robots.txt nicht angezeigt werden k\u00f6nnen.<\/p>\n
In der robots.txt einer Webseite m\u00fcssen all die Unterseiten sowie Verzeichnisse enthalten sein, welche durch die Suchmaschinen nicht ausgelesen werden sollen. Der Ausschluss bestimmter Inhalte seiner Webseite von der Indexierung spielt f\u00fcr den Administrator aus verschiedenen Gr\u00fcnden eine wichtige Rolle.<\/p>\n
Zwei Regeln in einer robots.txt werden grunds\u00e4tzlich durch eine Leerzeile voneinander getrennt, damit Robots.txt auch verstanden wird. Abh\u00e4ngigkeiten gibt es zwischen den einzelnen Regeln kann, das heisst, hierbei muss nichts weiter beachtet werden. Bei Anweisungen f\u00fcr Disallow ist es erforderlich, einen Slash (= \/ ) an den Anfang der jeweiligen Disallow-Anweisung zu setzen.<\/p>\n
Bei einer robots.txt ist es wichtig, auf die richtige Schreibweise, das heisst, auf die Grossschreibung und Kleinschreibung zu achten. Dazu kann eine einzige falsche Syntax in der robots.txt zu einem schweren Fehler f\u00fchren.<\/p>\n
Eine sitemap.xml ist f\u00fcr Suchmaschinen relevant, um die Unterseiten einer Webseite auslesen zu k\u00f6nnen. Die sitemap.xml enth\u00e4lt alle Unterseiten und Verzeichnisse einer Internetseite, und wurde fr\u00fcher von Administratoren nach Erstellen in den Webmaster Tools hochgeladen. Inzwischen gibt es so gute Plugins, die kostenlos genutzt werden k\u00f6nnen, dass die sitemap.xml automatisch ausgelesen, und von den Suchmaschinen verwendet wird, ohne dass diese noch extra in den Webmaster Tools von Google und den anderen Suchmaschinen hochgeladen werden muss.<\/p>\n
Ohne eine sitemap.xml hat eine Suchmaschine keinen \u00dcberblick \u00fcber die Inhalte einer Webseite, sie ist relevant f\u00fcr das Anzeigen der Unterseiten einer Webseite bei den jeweiligen Suchergebnissen. Gibt es f\u00fcr eine Webseite keine sitemap.xml, kann die Seite noch so toll gemacht sein, und noch so tolle Inhalte aufweisen, sie wird ihren Weg in die Suchergebnisse kaum finden k\u00f6nnen.<\/p>\n
Das Wichtigste bei einer sitemap.xml ist die Auszeichnungssprache, diese ist im aktuellen Google Sitemap-Protokoll vorgegeben. Die Sitemap.xml enth\u00e4lt die Adressen der Homepage und aller Unterseiten einer Webseite, dazu den Zeichencode und Metadaten, die erforderlich sind. Dies sind unter anderem die Angaben zur Frequenz und zum Datum, an dem die Seiten\u00fcbersicht aktualisiert wird. Gerade bei Newsseiten ist in den neueren Artikeln schnelle Frequenzen erforderlich, wenn diese nachtr\u00e4glich bearbeitet werden sollen, w\u00e4hrend bei \u00e4lteren Artikeln eine l\u00e4ngere Frequenz ausreicht.<\/p>\n
Der gravierendste Fehler bei einer sitemap.xml ist die Gr\u00f6sse der Datei. Diese darf eine maximale Anzahl von Unterseiten nicht \u00fcberschreiten, auch die Anzahl der maximalen Megabytes ist von Google und den anderen Suchmaschinen vorgegeben. Wird die Anzahl der maximalen URLs oder der maximalen Megabytes \u00fcberschreiten, ist es erforderlich, eine Teilung der Sitemap vorzunehmen, und zwei unterschiedliche Sitemap.xml zu erstellen.<\/p>\n","protected":false},"excerpt":{"rendered":"