Facettenfilter so steuern, dass Crawler nicht endlos URLs verfolgen

Eine Kategorieseite mit fünf Filtern kann unbemerkt zu Tausenden crawlbarer Adressen werden. Jede Option für Farbe, Preis, Ort, Datum oder Sortierung wirkt für sich genommen harmlos. In Kombination können sie Crawling-Aktivität auf Seiten verbrauchen, die sich kaum unterscheiden, während neue und nützliche Seiten darauf warten, entdeckt zu werden. Die Lösung besteht nicht darin, jeden Parameter ungeprüft zu blockieren.

Die Hinweise von Google zur Facettennavigation beschreiben das Risiko praktisch unendlicher URL-Räume und langsamerer Crawls zur Entdeckung neuer Inhalte. Das gilt für Produktkataloge, Jobbörsen, Veranstaltungsverzeichnisse und große Publikationsarchive. Die erste Entscheidung ist eine redaktionelle: Welche gefilterten Kombinationen erfüllen einen Suchbedarf so gut, dass sie als echte Landingpages gepflegt werden sollten?

Den URL-Raum erfassen, bevor Sie robots-Regeln schreiben

Sammeln Sie Beispiele aus Crawl-Protokollen, der internen Navigation und, soweit verfügbar, aus der Search Console. Gruppieren Sie die URLs nach Zweck: kanonische Kategorieseiten, nützliche Filter-Landingpages, temporäre Sortierreihenfolgen, Tracking-Parameter, interne Suchergebnisse und unsinnige Kombinationen. Schätzen Sie, wie viele unterschiedliche URLs eine gewöhnliche Browsing-Sitzung erzeugen kann. Eine Stichprobe genügt, um ein ausuferndes Muster zu erkennen, aber nicht, um eine exakte Gesamtzahl zu behaupten.

Achten Sie auf denselben Inhalt unter unterschiedlichen Parameterreihenfolgen wie ?color=blue&size=m und ?size=m&color=blue. Untersuchen Sie außerdem Sitzungs-IDs und Kalenderrouten, die endlos Datumswerte erzeugen können. Prüfen Sie, ob jede Kombination über gewöhnliche Links auffindbar ist. Die Korrektur der Linkerzeugung verhindert oft mehr Verschwendung, als nur am Crawler nachzubessern.

Eine indexierbare Teilmenge bewusst auswählen

Eine nützliche dauerhafte Filter-Landingpage sollte stabile Produkte oder Ergebnisse, eigenständige Inhalte, einen beschreibenden Titel und einen direkten Navigationspfad haben. Hat eine Kombination wenig eigenständigen Wert, halten Sie sie für Besucher verfügbar, ohne sie automatisch als indexierbare Seite zu bewerben. Erstellen Sie eine Positivliste wertvoller Facetten statt einer unbegrenzten Reihe automatisch erzeugter URLs.

Für URLs, die nicht gecrawlt werden sollen, dokumentiert Google Einschränkungen per robots.txt als mögliche Option. Wenden Sie präzise Regeln erst an, nachdem Sie geprüft haben, welche URLs sie erfassen. Eine in robots.txt blockierte URL hindert den Crawler auch daran, eine canonical- oder noindex-Anweisung auf dieser Seite zu lesen. Behandeln Sie diese Methoden daher nicht als austauschbar. Hängt die Bereinigung davon ab, dass ein noindex erkannt wird, muss die Seite lange genug crawlbar bleiben, damit dieses Signal verarbeitet werden kann.

Crawlbare Routen technisch konsistent halten

Verwenden Sie bei potenziell indexierbaren Filterseiten übliche Trennzeichen für Parameter: = zwischen Schlüsseln und Werten, & zwischen Parametern. Die Hinweise von Google zur URL-Struktur empfehlen außerdem, unnötige Parameter zu vermeiden. Wenn Sie Filterwerte im Pfad codieren, verwenden Sie eine feste Reihenfolge und verhindern Sie doppelte Filter.

Eine nicht existierende oder ungültige Filterkombination sollte, wo angemessen, einen echten Status 404 zurückgeben statt eines Soft-Fehlers, der stets eine leere Kategorieseite mit Status 200 erzeugt. Prüfen Sie die Paginierung über die letzte Seite hinaus sowie unmögliche Kombinationen. Jede fehlerhafte URL auf die Startseite weiterzuleiten, ersetzt keine korrekten Statuscodes.

Stellen Sie sich als konkrete Übung ein Verzeichnis mit sechs Städten, acht Veranstaltungskategorien, fünf Zeitfenstern und drei Sortierungen vor. Schon ohne Paginierung oder Freitextsuche ergibt das 720 Kombinationen, wenn alle Dimensionen unabhängig voneinander adressierbar sind. Dies ist ein hypothetisches Rechenbeispiel, keine gemessene Crawl-Zahl. Viele Kombinationen können leer oder gleichbedeutend sein, was die automatische Erzeugung von URLs besonders verschwenderisch macht.

Erstellen Sie eine kleine Testmatrix: eine nützliche gefilterte Landingpage, eine doppelte Parameterreihenfolge, ein leeres Ergebnis, ein ungültiger Wert und eine Seite jenseits der letzten Ergebnisseite. Halten Sie für jede den erwarteten Statuscode, die bevorzugte kanonische URL, die robots-Behandlung und das Verhalten der internen Links fest. Die Matrix deckt Widersprüche auf, bevor sie sich auf Millionen von URLs ausbreiten. So kann eine Seite, die eine bevorzugte kanonische URL angibt, aber für das Crawling gesperrt ist, diesen Hinweis womöglich nie an Google übermitteln.

Wenden Sie niemals pauschal Disallow: /*?* an, nur weil die Website Query-Strings verwendet. Parameter können für eine unverzichtbare Paginierung oder wirklich nützliche Inhalte stehen. Ebenso sendet es das entgegengesetzte Signal zur Blockierung, wenn alle Filter in einer XML-Sitemap verbleiben. Stimmen Sie Sitemaps, kanonische Angaben, Statuscodes und Links auf die indexierbare Teilmenge ab, die Sie tatsächlich pflegen wollen. Crawlen Sie Ihre eigene Website nach der Veröffentlichung so, wie es ein gewöhnlicher Besucher tun würde, und vergewissern Sie sich, dass die Navigation weiterhin funktioniert.

Die Wirkung überwachen, statt den Erfolg auszurufen

Nehmen Sie eine gezielte Prüfung interner Links auf, die durch Navigations-Widgets und automatisch erzeugte Archivseiten hinzukommen. Eine einzige Vorlage kann Hunderte unerwünschter Filterlinks wieder einführen, selbst nachdem die robots-Regeln verschärft wurden. Übertragen Sie einer verantwortlichen Person die Aufgabe, diese Vorlagen nach Theme- oder Plattform-Upgrades zu überwachen.

Vergleichen Sie nach der Bereitstellung von Änderungen Protokollstichproben der Crawler-Anfragen an kanonische URLs und Filter-URLs. Prüfen Sie, ob gewünschte Seiten erreichbar bleiben und unerwünschte Kombinationen die Crawling-Aktivität nicht mehr dominieren. Beobachten Sie die Indexierungsberichte der Search Console über einen längeren Zeitraum und rechnen Sie mit Verarbeitungsverzögerungen. Hängen Umsatz oder Conversions an einer wertvollen Filterseite, messen Sie diese Seite separat, bevor Sie ihren Crawl-Pfad entfernen.

Eine Änderung an robots.txt kann Bandbreite sparen, ohne die zugrunde liegenden Inhalte in irgendeiner Weise zu verbessern. Eine gute Architektur macht nützliche Seiten leicht auffindbar und wenig wertvolle Permutationen schwer erzeugbar. Unsere Anleitung zu Traffic-Rückgängen hilft, echte Leistungsveränderungen zu untersuchen, während der Leitfaden zu Bildern für Discover einen separaten Sichtbarkeitskanal behandelt.