ValidiscanBot: was er anfragt und wie Sie ihn blockieren können

1. Die Startseite. Die erste Anfrage ist eine einfache HTTP-Anfrage nach der Startseite, außerhalb des Browsers gestellt. Sie zeigt, ob der Shop antwortet und auf welcher Plattform er läuft. Weiterleitungen werden Schritt für Schritt verfolgt, höchstens 10 Schritte. Diese Anfrage und ihre Weiterleitungen erfolgen, bevor die robots.txt gelesen wird, und werden daher auch dann gestellt, wenn die robots.txt alles verbietet. Antwortet die Startseite mit einem Fehlerstatus, etwa 403, 429 oder 503, oder gar nicht, endet der kostenlose Check an dieser Stelle.
2. robots.txt. Als Nächstes liest ValidiscanBot die robots.txt im Stammverzeichnis des Hosts, auf dem die Startseite nach den Weiterleitungen gelandet ist, zum Beispiel https://www.example.com/robots.txt. Verbietet die robots.txt ValidiscanBot die Startseite, oder lässt sie sich nicht lesen, weil der Server mit einem Serverfehler (5xx), mit 429 (zu viele Anfragen) oder gar nicht antwortet, endet der kostenlose Check, und nichts weiter wird angefragt. Eine fehlende robots.txt (jeder andere 4xx-Status) oder eine leere erlaubt alles. Liegt ein Shop unter einem Pfad wie /de/ und hat im Stammverzeichnis seines Hosts keine oder eine leere robots.txt, liest ValidiscanBot auch die robots.txt in diesem Pfad.
3. Sitemaps. Er liest die sitemap.xml des Shops, die in der robots.txt genannten Sitemaps und die Sitemaps, die diese wiederum auflisten: höchstens 50 Sitemap-Dateien. Eine Sitemap-Datei, die die robots.txt verbietet, wird übersprungen, es sei denn, die robots.txt nennt sie.
4. Seiten finden. Er fragt infrage kommende Seiten als einfaches HTML an, um sie nach Seitentyp zu ordnen (Produktlisten, Produktseiten, Inhaltsseiten, Rechtstexte und weitere) und um Links zu weiteren Seiten zu finden. Die Adressen stammen aus den Sitemaps und aus Links auf den Seiten, die er gelesen hat, und nur Adressen auf der eigenen Domain des Shops werden berücksichtigt. Er überspringt jede Adresse, die die robots.txt verbietet, und stellt höchstens 45 dieser Anfragen, die Anfrage nach der Startseite aus Schritt 1 eingerechnet; Weiterleitungsschritte kommen hinzu.
5. Suche und Anmeldung. Um eine Seite mit Suchergebnissen zu finden, fragt er die übliche Suchadresse der Plattform an, zuerst mit Wörtern aus Seitentiteln, dann mit häufigen Wörtern, bis eine antwortet. Die Anmeldeseite stammt aus einem Link auf der Startseite oder, wenn es keinen gibt, aus den üblichen Anmeldeadressen der Plattform. Die Kontaktseite und die Rechtstexte stammen aus den Links der Startseite, ohne zusätzliche Anfrage. Hat er bis dahin weniger als 15 Seiten gefunden, kehrt er zum Finden von Seiten zurück, innerhalb derselben 45 Anfragen.
6. Die Seiten im Browser. Zuletzt lädt er die ausgewählten Seiten in seinem Browser, höchstens 15, eine nach der anderen, jede zuerst in Desktop- und dann in Smartphone-Größe.

Das Limit von 15 Seiten gilt für die Seiten, die ValidiscanBot testet, nicht für seine Anfragen. Neben den zwei Ladevorgängen jeder Seite im Browser stellt ein kostenloser Check die einfachen Anfragen der Schritte 1 bis 5. Jeder Weiterleitungsschritt ist eine eigene Anfrage. Ein Seitenaufruf, der fehlschlägt, wird bis zu zweimal erneut versucht. Manche Tests laden eine Seite noch einmal; der Test des Cookie-Banners öffnet sie zum Beispiel in einem neuen Browserfenster ohne Cookies. Bricht ein kostenloser Check ab, etwa weil sein Browser abgestürzt ist oder der Scan-Dienst gestoppt wurde, wird er von vorn gestartet. Wie viele Anfragen das insgesamt ergibt, hängt vom Shop ab.

Jede Anfrage, die ValidiscanBot selbst an Ihren Shop stellt, wartet, bis seit dem Beginn der vorigen Anfrage und seit deren Beantwortung jeweils mindestens 1 s vergangen sind. Die Regel gilt für die einfachen Anfragen, für jeden Weiterleitungsschritt, dem sie folgen, und für jeden Seitenaufruf im Browser, das neue Fenster des Cookie-Banner-Tests eingeschlossen. Sie gilt je Ursprung (Origin): Schema, Hostname und Port. Bei einem Seitenaufruf im Browser heißt „beantwortet“, dass die Antwort für die Seite eingetroffen ist, nicht, dass die Seite fertig geladen ist.

Sobald die robots.txt gelesen ist, vergrößert ein Crawl-delay von mehr als 1 s den Abstand, bis zu 10 s. Ein kürzeres verkleinert ihn nicht.

Dateien, die eine Seite selbst nachlädt, etwa Styles, Skripte, Bilder, Schriften, Datenabfragen und Frames, gehören zum Laden dieser Seite. Sie werden wie in jedem Browser geladen, ohne den Abstand.

Eine Ausnahme ist bekannt. Antwortet Ihr Shop auf einen Seitenaufruf im Browser mit einer Weiterleitung, folgt der Browser ihr sofort, ohne den Abstand und ohne Abgleich mit der robots.txt. Validiscan hat das als offene Lücke seines Scanners festgehalten.

• Er legt nie ein Produkt in einen Warenkorb und öffnet nie den Warenkorb oder den Checkout. Warenkorb- und Checkout-Seiten gehören nicht zu einem kostenlosen Check.
• Er schickt keine Formulare ab und meldet sich nicht an. Die Anmeldeseite wird als zu testende Seite geladen, mehr nicht.
• Er verwendet kein Passwort und scannt keine Staging-Kopie des Shops.

ValidiscanBot bedient jede Seite in seinem eigenen Browser wie eine Besucherin oder ein Besucher. Er bewegt sich mit der Tastatur durch die Seite. Er testet das Cookie-Banner und akzeptiert es dann, damit sich der Rest der Seite testen lässt; um das Bedienelement zum Ablehnen oder Schließen des Banners und die Esc-Taste auszuprobieren, verwendet er ein neues Fenster ohne Cookies. Hat eine Seite ein Bedienelement für Produktvarianten, wechselt er zu einer anderen Variante und wieder zurück. Hat eine Seite ein Passwortfeld, prüft er, ob das Einfügen in das Feld gesperrt ist, mit einem probeweisen Einfügen, das das Feld so lässt, wie es war. Die eigenen Skripte Ihrer Seiten können darauf reagieren wie bei jedem anderen Besuch, zum Beispiel indem sie die Cookie-Auswahl speichern.

Sein Browser sendet keine Anfragen an Dienste, die auf einer Liste bekannter Analyse-, Werbe- und Chat-Dienste stehen, und lädt keine Video- oder Audiodateien. Einwilligungstools stehen nicht auf dieser Liste, weil das Cookie-Banner zu dem gehört, was getestet wird.

Eine Gruppe für ValidiscanBot ersetzt die *-Gruppe: ValidiscanBot befolgt dann nur die Disallow- und Allow-Zeilen seiner eigenen Gruppe. Wenn Sie eine Gruppe für ValidiscanBot hinzufügen, wiederholen Sie darin die *-Regeln, die er weiterhin befolgen soll. Mit den folgenden Zeilen lädt ValidiscanBot nichts unter /account/, darf aber Seiten unter /drafts/ laden:

User-agent: *
Disallow: /drafts/

User-agent: ValidiscanBot
Disallow: /account/

In einem kostenlosen Check gilt die robots.txt für Sitemap-Dateien, die sie nicht selbst nennt, für jede Adresse aus Sitemaps und Links, für die Anfragen nach der Suche und der Anmeldeseite, für jeden Weiterleitungsschritt der einfachen Anfragen und für die Seiten und Frames, die der Browser vom Host Ihres Shops lädt. Eine Seite, deren einfache Anfrage auf eine verbotene Adresse weitergeleitet wurde, wird verworfen.

Nicht geprüft wird sie für:

• die Anfrage nach der Startseite und ihre Weiterleitungen, die erfolgen, bevor die robots.txt gelesen wird;
• die Dateien, die eine erlaubte Seite selbst nachlädt, auch aus einem Pfad, den die robots.txt verbietet;
• Weiterleitungen, denen der Browser bei einem Seitenaufruf folgt (die oben beschriebene offene Lücke);
• Seiten außerhalb des Ursprungs Ihres Shops. ValidiscanBot liest nur die robots.txt von Schema, Hostname und Port, auf denen Ihre Startseite gelandet ist. Eine Seite auf einem anderen Hostnamen derselben Domain, auf die Ihr Shop verlinkt, etwa blog.example.com neben www.example.com, kann einbezogen werden, ohne dass die robots.txt dieses Hosts gelesen wird.