ValidiscanBot: qué solicita y cómo bloquearlo

1. La página de inicio. La primera solicitud es una solicitud HTTP simple de la página de inicio, hecha fuera del navegador. Muestra si la tienda responde y en qué plataforma funciona. Las redirecciones se siguen salto a salto, hasta un máximo de 10. Esta solicitud y sus redirecciones van antes de que se lea el robots.txt, así que se hacen incluso cuando el robots.txt lo prohíbe todo. Si la página de inicio responde con un estado de error, como 403, 429 o 503, o no responde en absoluto, la revisión gratuita termina ahí.
2. robots.txt. A continuación, ValidiscanBot lee el robots.txt en la raíz del host al que llegó finalmente la página de inicio, por ejemplo https://www.example.com/robots.txt. Si el robots.txt prohíbe la página de inicio a ValidiscanBot, o no se puede leer porque el servidor responde con un error del servidor (5xx), con 429 (demasiadas solicitudes) o no responde en absoluto, la revisión gratuita se detiene y no solicita nada más. Un robots.txt inexistente (cualquier otro estado 4xx) o vacío lo permite todo. En una tienda alojada bajo una ruta, como /de/, cuyo host no tiene robots.txt en la raíz o lo tiene vacío, lee también el de esa ruta.
3. Sitemaps. Lee el sitemap.xml de la tienda, los sitemaps que nombra el robots.txt y los sitemaps que estos enumeran: como máximo 50 archivos de sitemap. Omite los archivos de sitemap que el robots.txt prohíbe, salvo que el propio robots.txt los nombre.
4. Localización de páginas. Solicita páginas candidatas como HTML simple, para clasificarlas por tipo (listas de productos, páginas de producto, páginas de contenido, páginas legales y otras) y para encontrar enlaces a más páginas. Las direcciones proceden de los sitemaps y de los enlaces de las páginas que ha leído, y solo se consideran las direcciones del propio dominio de la tienda. Omite toda dirección que el robots.txt prohíbe y hace como máximo 45 de estas solicitudes, contando la de la página de inicio del paso 1; los saltos de redirección van aparte.
5. Búsqueda e inicio de sesión. Para encontrar una página de resultados de búsqueda, solicita la dirección de búsqueda habitual de la plataforma con palabras tomadas de los títulos de las páginas y, después, con palabras comunes, hasta que una de ellas responde. La página de inicio de sesión sale de un enlace de la página de inicio o, si no hay ninguno, de las direcciones de inicio de sesión habituales de la plataforma. Las páginas de contacto y las legales salen de los enlaces de la página de inicio, sin ninguna solicitud adicional. Si para entonces ha encontrado menos de 15 páginas, vuelve a la localización de páginas, dentro de las mismas 45 solicitudes.
6. Las páginas en el navegador. Por último, carga las páginas elegidas en su navegador, como máximo 15, de una en una, cada una primero en tamaño de escritorio y después en tamaño de móvil.

El límite de 15 páginas cuenta las páginas que prueba ValidiscanBot, no sus solicitudes. Además de las dos cargas de cada página en el navegador, una revisión gratuita hace las solicitudes simples de los pasos 1 a 5. Cada salto de redirección es una solicitud aparte. Una carga de página que falla se reintenta hasta dos veces más. Algunas pruebas vuelven a cargar una página; la prueba del banner de cookies, por ejemplo, la abre en una ventana nueva del navegador sin cookies. Si una revisión gratuita se interrumpe, por ejemplo porque su navegador se ha cerrado inesperadamente o se ha detenido el servicio de escaneo, se reinicia desde el principio. Cuántas solicitudes hace en total depende de la tienda.

Cada solicitud que ValidiscanBot inicia por sí mismo hacia su tienda espera hasta que hayan pasado al menos 1 s desde el inicio de la anterior y hasta que esta haya recibido respuesta, lo que ocurra más tarde. La regla abarca las solicitudes simples, cada salto de redirección que siguen y cada carga de página en el navegador, incluida la ventana nueva de la prueba del banner de cookies. Se aplica por origen: esquema, nombre de host y puerto. En la carga de una página en el navegador, «recibir respuesta» significa que ha llegado la respuesta de esa página, no que la página haya terminado de cargarse.

Una vez leído el robots.txt, un Crawl-delay mayor de 1 s amplía el intervalo, hasta un máximo de 10 s. Uno menor no lo reduce.

Los archivos que una página carga por sí misma, como estilos, scripts, imágenes, fuentes, solicitudes de datos y frames, forman parte de la carga de esa página. Se cargan como en cualquier navegador, sin el intervalo.

Hay una excepción conocida. Cuando su tienda responde a la carga de una página en el navegador con una redirección, el navegador la sigue de inmediato, sin el intervalo y sin comprobar el robots.txt. Validiscan ha registrado esto como una laguna abierta de su escáner.

• Nunca añade un producto al carrito y nunca abre el carrito ni el proceso de pago. Las páginas del carrito y del proceso de pago no forman parte de una revisión gratuita.
• No envía formularios y no inicia sesión. La página de inicio de sesión se carga como una página que probar, nada más.
• No usa ninguna contraseña y no escanea una copia de preproducción de la tienda.

ValidiscanBot usa cada página como lo haría un visitante, dentro de su propio navegador. Se mueve por la página con el teclado. Prueba el banner de cookies y luego lo acepta, para poder probar el resto de la página; para probar el control para rechazar o cerrar el banner y la tecla Esc, usa una ventana nueva sin cookies. Cuando una página tiene un control de variante de producto, cambia a otra variante y luego vuelve a la anterior. Cuando una página tiene un campo de contraseña, comprueba si el campo impide pegar texto, con un pegado de prueba que deja el campo como estaba. Los propios scripts de sus páginas pueden reaccionar como lo harían ante cualquier visitante, por ejemplo guardando la elección sobre las cookies.

El navegador de ValidiscanBot no envía solicitudes a los servicios de analítica, publicidad y chat de una lista de servicios conocidos, y no carga archivos de vídeo ni de audio. Los servicios de consentimiento no están en esa lista, porque el banner de cookies forma parte de lo que se prueba.

Un grupo para ValidiscanBot sustituye al grupo *: ValidiscanBot sigue entonces solo las líneas Disallow y Allow de su propio grupo. Si añade un grupo para ValidiscanBot, repita en él las reglas de * que quiera que siga respetando. Con las líneas siguientes, ValidiscanBot se mantiene fuera de /account/, pero puede cargar las páginas de /drafts/:

User-agent: *
Disallow: /drafts/

User-agent: ValidiscanBot
Disallow: /account/

En una revisión gratuita, el robots.txt se comprueba para los archivos de sitemap distintos de los que nombra el propio robots.txt, para cada dirección tomada de los sitemaps y de los enlaces, para las solicitudes de búsqueda y de inicio de sesión, para cada salto de redirección de las solicitudes simples y para las páginas y los frames que el navegador carga desde el host de su tienda. Se descarta una página cuya solicitud simple se redirigió a una dirección prohibida.

No se comprueba para:

• la solicitud de la página de inicio y sus redirecciones, que van antes de que se lea el robots.txt;
• los archivos que una página permitida carga por sí misma, incluso desde una ruta que el robots.txt prohíbe;
• las redirecciones que el navegador sigue durante la carga de una página (la laguna abierta descrita más arriba);
• las páginas fuera del origen de su tienda. ValidiscanBot lee solo el robots.txt del esquema, el nombre de host y el puerto en los que terminó su página de inicio. Una página de otro nombre de host del mismo dominio a la que enlaza su tienda, como blog.example.com junto a www.example.com, puede incluirse sin que se lea el robots.txt de ese host.