ValidiscanBot : ce qu’il demande et comment le bloquer

1. La page d’accueil. La première requête est une simple requête HTTP pour la page d’accueil, faite hors du navigateur. Elle indique si la boutique répond et sous quelle plateforme elle fonctionne. Les redirections sont suivies une à une, 10 au plus. Cette requête et ses redirections précèdent la lecture de robots.txt : elles sont donc faites même lorsque robots.txt interdit tout. Si la page d’accueil répond par un statut d’erreur, comme 403, 429 ou 503, ou ne répond pas du tout, la vérification gratuite s’arrête là.
2. robots.txt. Ensuite, ValidiscanBot lit robots.txt à la racine de l’hôte sur lequel la page d’accueil a abouti, par exemple https://www.example.com/robots.txt. Si robots.txt interdit la page d’accueil à ValidiscanBot, ou ne peut pas être lu parce que le serveur répond par une erreur serveur (5xx), par le code 429 (trop de requêtes) ou ne répond pas du tout, la vérification gratuite s’arrête et ne demande rien d’autre. Un robots.txt absent (tout autre statut 4xx) ou vide autorise tout. Pour une boutique qui se trouve sous un chemin, comme /de/, et qui n’a aucun robots.txt, ou un robots.txt vide, à la racine de son hôte, il lit aussi celui qui se trouve dans ce chemin.
3. Sitemaps. Il lit le fichier sitemap.xml de la boutique, les sitemaps que nomme robots.txt et les sitemaps que ceux-ci énumèrent : 50 fichiers sitemap au plus. Un fichier sitemap que robots.txt interdit est ignoré, sauf si robots.txt le nomme.
4. Repérage des pages. Il demande des pages candidates en simple HTML, pour les classer par type (listes de produits, fiches produit, pages de contenu, pages juridiques et autres) et trouver des liens vers d’autres pages. Les adresses viennent des sitemaps et des liens des pages qu’il a lues, et seules les adresses du domaine de la boutique sont prises en compte. Il écarte toute adresse que robots.txt interdit et fait 45 de ces requêtes au plus, la requête de la page d’accueil de l’étape 1 comprise ; les redirections s’y ajoutent.
5. Recherche et connexion. Pour trouver une page de résultats de recherche, il demande l’adresse de recherche habituelle de la plateforme avec des mots tirés des titres de pages, puis avec des mots courants, jusqu’à obtenir une réponse. La page de connexion vient d’un lien de la page d’accueil ou, à défaut, des adresses de connexion habituelles de la plateforme. Les pages de contact et les pages juridiques viennent des liens de la page d’accueil, sans requête supplémentaire. Si, à ce stade, il a trouvé moins de 15 pages, il reprend le repérage des pages, dans la limite des mêmes 45 requêtes.
6. Les pages dans le navigateur. Enfin, il charge les pages choisies dans son navigateur, 15 au plus, l’une après l’autre, chacune d’abord aux dimensions d’un écran d’ordinateur, puis à celles d’un téléphone.

La limite de 15 pages compte les pages que ValidiscanBot teste, pas ses requêtes. Outre les deux chargements de chaque page dans le navigateur, une vérification gratuite fait les simples requêtes des étapes 1 à 5. Chaque redirection est une requête à part. Un chargement de page qui échoue est retenté jusqu’à deux fois. Certains tests rechargent une page ; le test du bandeau cookies, par exemple, l’ouvre dans une nouvelle fenêtre de navigateur sans cookies. Si une vérification gratuite s’interrompt, par exemple parce que son navigateur a planté ou que le service de scan a été arrêté, elle est relancée depuis le début. Le nombre total de requêtes qui en résulte dépend de la boutique.

Chaque requête que ValidiscanBot lance lui-même vers votre boutique attend au moins 1 s après le lancement de la requête précédente et après la réponse à celle-ci, selon ce qui arrive en dernier. La règle couvre les simples requêtes, chaque redirection qu’elles suivent et chaque chargement de page dans le navigateur, y compris la nouvelle fenêtre du test du bandeau cookies. Elle s’applique par origine : schéma, nom d’hôte et port. Pour un chargement de page dans le navigateur, la réponse compte dès qu’elle arrive, sans attendre que la page ait fini de se charger.

Une fois robots.txt lu, un Crawl-delay supérieur à 1 s élargit l’intervalle, jusqu’à 10 s. Un Crawl-delay plus court ne le réduit pas.

Les fichiers qu’une page charge elle-même, comme les styles, les scripts, les images, les polices, les requêtes de données et les cadres (frames), font partie du chargement de cette page. Ils se chargent comme dans n’importe quel navigateur, sans cet intervalle.

Une exception est connue. Lorsque votre boutique répond par une redirection au chargement d’une page dans le navigateur, celui-ci la suit aussitôt, sans intervalle et sans vérifier robots.txt. Validiscan a consigné cette limite comme une lacune non résolue de son scanner.

• Elle n’ajoute jamais de produit au panier et n’ouvre jamais le panier ni le tunnel de commande. Les pages de panier et de commande ne font pas partie d’une vérification gratuite.
• Elle n’envoie aucun formulaire et ne se connecte pas. La page de connexion est chargée comme une page à tester, rien de plus.
• Elle n’utilise aucun mot de passe et ne scanne pas de copie de préproduction de la boutique.

ValidiscanBot manipule chaque page comme le ferait un visiteur, dans son propre navigateur. Il s’y déplace au clavier. Il teste le bandeau cookies puis l’accepte, pour que le reste de la page puisse être testé ; pour essayer la commande de refus ou de fermeture du bandeau et la touche Échap, il utilise une nouvelle fenêtre sans cookies. Lorsqu’une page comporte une commande de variante de produit, il passe à une autre variante puis revient à la variante de départ. Lorsqu’une page comporte un champ de mot de passe, il vérifie si le collage dans ce champ est bloqué, avec un collage d’essai qui laisse le champ tel qu’il était. Les scripts de vos pages peuvent réagir comme pour n’importe quel visiteur, par exemple en enregistrant le choix de cookies.

Son navigateur n’envoie aucune requête vers une liste de services connus d’analyse, de publicité et de chat, et ne charge aucun fichier vidéo ou audio. Les services de gestion du consentement ne figurent pas sur cette liste, car le bandeau cookies fait partie de ce qui est testé.

Un groupe pour ValidiscanBot remplace le groupe * : ValidiscanBot ne suit alors que les lignes Disallow et Allow de son propre groupe. Si vous ajoutez un groupe pour ValidiscanBot, reprenez-y les règles du groupe * qui doivent continuer à s’appliquer à lui. Avec les lignes ci-dessous, ValidiscanBot reste hors de /account/ mais peut charger les pages sous /drafts/ :

User-agent: *
Disallow: /drafts/

User-agent: ValidiscanBot
Disallow: /account/

Dans une vérification gratuite, robots.txt est consulté pour les fichiers sitemap autres que ceux que robots.txt nomme, pour chaque adresse tirée des sitemaps et des liens, pour les requêtes de recherche et de connexion, pour chaque redirection des simples requêtes, ainsi que pour les pages et les cadres que le navigateur charge depuis l’hôte de votre boutique. Une page dont la simple requête a été redirigée vers une adresse interdite est écartée.

Il n’est pas consulté pour :

• la requête de la page d’accueil et ses redirections, qui précèdent la lecture de robots.txt ;
• les fichiers qu’une page autorisée charge elle-même, même depuis un chemin que robots.txt interdit ;
• les redirections que le navigateur suit pendant le chargement d’une page (la lacune non résolue décrite plus haut) ;
• les pages hors de l’origine de votre boutique. ValidiscanBot ne lit que le robots.txt du schéma, du nom d’hôte et du port sur lesquels votre page d’accueil a abouti. Une page d’un autre nom d’hôte du même domaine, vers laquelle pointe votre boutique, comme blog.example.com à côté de www.example.com, peut être incluse sans que le robots.txt de cet hôte soit lu.