Cloudflare prüft verifizierte Bots fortlaufend, öffentliche Vertrauenswerte sollen noch folgen

Cloudflare hat am 16. Oktober 2026 ein System vorgestellt, das Abweichungen verifizierter Bots von den Präferenzen einer Website bewerten soll. Die zentrale Unterscheidung ist für Verlage hilfreich: Zu wissen, wer einen Crawler betreibt, belegt nicht, dass jede seiner Anfragen angemessen ist.

In der Ankündigung erklärt Cloudflare, die anfängliche Bewertung untersuche, ob Bots Anweisungen beachten und auf direkte Rückmeldungen reagieren. Beobachtetes Verhalten soll in einem nachvollziehbaren Vertrauensbereich ausgedrückt werden. Öffentliche Werte auf Radar sollen laut Unternehmen künftig folgen. Der Beitrag belegt nicht, dass Verlage bereits einen öffentlichen Wert für jeden Crawler nutzen können.

Identifizierung und Erlaubnis beantworten verschiedene Fragen

Eine verifizierte Identität kann helfen, einen bekannten Crawler von einem Nachahmer zu unterscheiden. Sie entscheidet nicht, welche Teile einer Publikation dieser Crawler abrufen dürfen sollte oder welche Last der Ursprungsserver verträgt.

Für Betreiber bedeutet das: Das Verifizierungslabel muss zusammen mit den eigenen Zugriffsvorgaben gelesen werden. Ein Artikelarchiv, ein privater Staging-Bereich und ein aufwendiger Suchendpunkt können unterschiedlich behandelt werden müssen, auch wenn derselbe identifizierte Bot alle drei anfragt.

Cloudflare beschreibt längerfristige Beobachtungen statt einzelner Ereignisse als Grundlage der Vertrauensbewertung. Das ist der Bewertungsansatz des Unternehmens, kein unabhängiger Nachweis, dass ein bestimmter Crawler die Regeln eines bestimmten Verlags verletzt hat.

Die unmittelbare Aufgabe ist eine überprüfbare Zugriffspolitik

Dokumentieren Sie vor Änderungen der Zugriffskontrollen die beabsichtigten Regeln. Legen Sie fest, welche öffentlichen Bereiche auffindbar sein sollen und welche Endpunkte Einschränkungen brauchen. Formulieren Sie so konkret, dass die technische Betreuung Vorgaben mit tatsächlichen Anfragen, Antwortcodes und dem Verhalten des Ursprungsservers vergleichen kann.

Verursacht ein mutmaßlicher Crawler Probleme, sichern Sie einen kleinen, relevanten Belegsatz: Zeitstempel, angefragte Pfade, Antwortstatus und die betroffene Regel. Behandeln Sie eine User-Agent-Zeichenfolge allein nicht als eindeutigen Identitätsnachweis. Die Dokumentation zu verifizierten Bots von Cloudflare erläutert den Produktkontext dieser Klassifizierung.

Ein Vertrauenslabel ist kein Traffic-Versprechen

Die Ankündigung betrifft das Verhalten und die Verantwortlichkeit von Bots. Sie verspricht weder zusätzliche Suchbesuche noch KI-Zitate oder eine Vergütung fürs Crawling. Der technische Zugriff eines Bots und der spätere Besuch eines Lesers bleiben verschiedene Ereignisse.

Betrachten Sie dies zusammen mit Cloudflares Pilot zur KI-Auffindbarkeit, der eine andere Initiative betrifft. Fällt eine Regeländerung mit weniger Sichtbarkeit zusammen, untersuchen Sie mit dem Leitfaden zum Traffic-Rückgang zuerst die zeitliche Abfolge, bevor Sie eine Ursache zuordnen. Hilfreich sind Regeln, die den Absichten der Publikation entsprechen, und Belege dafür, ob Anfragen sie einhalten.