Eine XML-Sitemap listet die URLs einer Website auf, um deren Auffindbarkeit durch Suchmaschinen zu erleichtern. Google weist in seiner Dokumentation darauf hin: Diese Datei hilft bei der Auffindung der URLs, garantiert jedoch weder das Crawlen noch die Indizierung. Die Messung der Diskrepanz zwischen dem, was eine Sitemap verspricht, und dem, was sie tatsächlich produziert, ermöglicht es, den technischen Aufwand, der dafür erforderlich ist, zu kalibrieren.
XML-Sitemap und HTML-Sitemap: zwei Dateien, zwei unterschiedliche Funktionen
Die Verwirrung zwischen XML-Sitemap und HTML-Sitemap bleibt bestehen. Ihre Rollen, ihre Empfänger und ihre SEO-Auswirkungen unterscheiden sich in mehreren Punkten.
| Kriterium | XML-Sitemap | HTML-Sitemap |
|---|---|---|
| Hauptempfänger | Crawling-Roboter (Googlebot, Bingbot) | Menschliche Besucher |
| Format | .xml-Datei, die im Stammverzeichnis der Website platziert ist | Webseite, die über das Menü oder den Footer zugänglich ist |
| Inhalt | Liste von URLs mit Metadaten (Änderungsdatum, Frequenz) | Klickbare Struktur der Seiten |
| Auswirkung auf das Crawlen | Signalisiert die URLs, die vorrangig erkundet werden sollen | Keine direkte Auswirkung auf das Crawlen der Roboter |
| Auswirkung auf die Benutzererfahrung | Keine (Datei nicht für Besucher bestimmt) | Hilft bei der Navigation, insbesondere auf großen Websites |
| Wartung | Automatisierbar über CMS oder Pipeline | Oft manuell oder halbautomatisch |
Die XML-Sitemap bleibt das Referenzformat im SEO. Die HTML-Sitemap kann das interne Linking ergänzen, ersetzt jedoch keine korrekt strukturierte XML-Datei. Auf der Sitemap-Seite von Pimp Your Biz sieht man ein konkretes Beispiel einer XML-Datei, die nach Abschnitt aufgelistet ist, was die Logik der Segmentierung nach Inhaltstyp gut veranschaulicht.
Indexierbare URLs in der Sitemap: der Filter, der das Signal an Google verändert
Alle URLs einer Website in der Sitemap aufzulisten, ist ein häufiger Fehler. Eine Datei, die 301-Weiterleitungen, Seiten im Noindex, 404-Fehler oder Varianten mit Parametern enthält, sendet ein verwirrtes Signal an die Roboter. Google muss dann selbst sortieren, was es wert ist, erkundet zu werden.
Nur kanonische und indexierbare URLs haben ihren Platz in der Sitemap. Dieses Filterprinzip verwandelt die Datei in ein zuverlässiges Inventar anstelle eines technischen Dumps.
URLs, die systematisch ausgeschlossen werden sollten
- Weitergeleitete Seiten (301, 302): Sie verweisen auf eine andere URL, ihre Einbeziehung erzeugt eine unnötige Schleife für den Roboter
- Seiten im Noindex: Ihre Präsenz in der Sitemap widerspricht der Meta-Robots-Direktive und erzeugt eine technische Inkonsistenz
- URLs mit Sortier-, Filter- oder Sitzungsparametern: Sie duplizieren den Inhalt einer kanonischen Seite ohne Mehrwert für die Indizierung
- Seiten mit Fehler 404 oder 410: Sie verschwenden das Crawling-Budget für nicht vorhandene Ressourcen
Eine E-Commerce-Website mit Tausenden von Produktseiten veranschaulicht das Problem gut. Ohne Filter kann die Sitemap dasselbe Produkt mehrfach unter verschiedenen URLs enthalten (Sortierung nach Preis, Farbe, Größe). Der Roboter erkundet dann Dutzende von Varianten, anstatt sich auf die kanonische Seite zu konzentrieren.
Die Generierung der Sitemap automatisieren, um Obsoleszenz zu vermeiden
Eine manuell gepflegte Sitemap wird obsolet, sobald das Veröffentlichungsvolumen einige Seiten pro Monat überschreitet. Die Automatisierung über das CMS oder eine Bereitstellungspipeline ist die aktuelle Best Practice für Websites, die regelmäßig veröffentlichen.
Auf WordPress generieren Plugins wie Yoast SEO oder Rank Math die XML-Sitemap bei jeder Veröffentlichung oder Aktualisierung von Inhalten. Die Datei spiegelt dann den tatsächlichen Zustand der Website ohne menschliches Eingreifen wider.
Spezialisierte Sitemaps für reichhaltige Inhalte
Google erlaubt die Deklaration mehrerer Arten von Inhalten in Sitemaps, über die klassischen HTML-Seiten hinaus. Websites mit reichhaltigen Medien profitieren von der Segmentierung ihrer Dateien.
- Bild-Sitemap: nützlich für Portfolios, E-Commerce-Websites oder Bilddatenbanken. Jedes Bild, das mit einer URL verknüpft ist, kann mit seinem Titel und seiner Bildunterschrift deklariert werden
- Video-Sitemap: relevant für Websites, die nativen Videoinhalt hosten. Die Metadaten (Dauer, Beschreibung, Miniaturansicht) helfen Google, Rich Snippets anzuzeigen
- Nachrichten-Sitemap: reserviert für Verlage, die in Google News gelistet sind, mit einem Gültigkeitszeitraum von einigen Tagen nach der Veröffentlichung
Eine nach Inhaltstyp segmentierte Sitemap erleichtert die technische Diagnose. Wenn die Indizierung von Videos Probleme bereitet, ermöglicht die dedizierte Datei, die Ursache zu isolieren, ohne alle URLs der Website durchzugehen.
Die Sitemap in der Google Search Console einreichen und überwachen
Die Sitemap im robots.txt-Datei über die Direktive Sitemap: https://example.com/sitemap.xml zu deklarieren, bleibt die passive Referenzmethode. Alle kompatiblen Roboter erkennen sie automatisch beim Crawlen.
Die aktive Einreichung über die Google Search Console bietet ein zusätzliches Informationsniveau. Die Benutzeroberfläche zeigt die Anzahl der erkannten URLs, die Anzahl der indexierten URLs und eventuelle Fehler beim Lesen der Datei an. Die Diskrepanz zwischen eingereichten URLs und indexierten URLs ist ein direkter Indikator für die Qualität der Sitemap.
Analyse der Diskrepanz zwischen eingereichten und indexierten URLs
Eine geringe Diskrepanz bedeutet, dass die Datei nur relevante URLs aus Googles Sicht enthält. Eine große Diskrepanz (die Mehrheit der eingereichten URLs wird nicht indexiert) deutet auf ein Problem mit der Inhaltsqualität, Duplikation oder widersprüchlichen Richtlinien hin.
Diese Diskrepanz wird nicht behoben, indem die Sitemap erneut eingereicht wird. Es ist notwendig, die ausgeschlossenen Seiten zu analysieren, den Grund für die Ablehnung zu verstehen (dünner Inhalt, Noindex, kanonisch auf eine andere URL) und die Datei entsprechend zu bereinigen.
Die Sitemap beschleunigt nicht mechanisch die Indizierung. Sie strukturiert den Dialog zwischen einer Website und den Robotern, vorausgesetzt, sie enthält nur URLs, die es wert sind, erkundet zu werden. Die tatsächliche Messung ihrer Effektivität zeigt sich in der Google Search Console, im Verhältnis zwischen dem, was man einreicht, und dem, was Google behält.