ValidiscanBot: hvad den henter, og hvordan du blokerer den

1. Forsiden. Den første forespørgsel er en almindelig HTTP-forespørgsel efter forsiden, sendt uden for browseren. Den viser, om webshoppen svarer, og hvilken platform den kører på. Omdirigeringer følges ét hop ad gangen, højst 10. Denne forespørgsel og dens omdirigeringer kommer, før robots.txt læses, så de sendes, selv når robots.txt forbyder alt. Hvis forsiden svarer med en fejlstatus, for eksempel 403, 429 eller 503, eller slet ikke svarer, slutter det gratis tjek dér.
2. robots.txt. Derefter læser ValidiscanBot robots.txt i roden af den host, forsiden endte på, for eksempel https://www.example.com/robots.txt. Hvis robots.txt forbyder forsiden for ValidiscanBot, eller filen ikke kan læses, fordi serveren svarer med en serverfejl (5xx), med 429 (for mange forespørgsler) eller slet ikke, stopper det gratis tjek og henter intet andet. En manglende robots.txt (enhver anden 4xx-status) eller en tom fil tillader alt. For en webshop, der ligger under en sti, for eksempel /de/, og som har ingen eller en tom robots.txt i roden af sin host, læser den også den robots.txt, der ligger i stien.
3. Sitemaps. Den læser webshoppens sitemap.xml, de sitemaps, robots.txt nævner, og de sitemaps, disse oplister: højst 50 sitemapfiler. En sitemapfil, som robots.txt forbyder, springes over, medmindre robots.txt selv nævner den.
4. Opsporing af sider. Den henter kandidatsider som almindelig HTML for at sortere dem efter type (produktlister, produktsider, indholdssider, juridiske sider og andre) og for at finde links til flere sider. Adresserne kommer fra sitemaps og fra links på de sider, den har læst, og kun adresser på webshoppens eget domæne tages i betragtning. Den springer alle adresser over, som robots.txt forbyder, og sender højst 45 af disse forespørgsler, forsidens forespørgsel i trin 1 medregnet; omdirigeringshop kommer oveni.
5. Søgning og login. For at finde en side med søgeresultater henter den platformens sædvanlige søgeadresse med ord fra sidetitler og derefter med almindelige ord, indtil en af søgningerne giver svar. Loginsiden kommer fra et link på forsiden eller, hvis der ikke er et, fra platformens sædvanlige loginadresser. Kontaktsider og juridiske sider kommer fra forsidens links uden en ekstra forespørgsel. Hvis den på det tidspunkt har fundet færre end 15 sider, vender den tilbage til opsporingen af sider inden for de samme 45 forespørgsler.
6. Siderne i browseren. Til sidst indlæser den de valgte sider i sin browser, højst 15, én ad gangen, hver først i desktopstørrelse og derefter i mobilstørrelse.

Grænsen på 15 sider tæller de sider, ValidiscanBot tester, ikke dens forespørgsler. Ud over de to indlæsninger af hver side i browseren sender et gratis tjek de almindelige forespørgsler i trin 1 til 5. Hvert omdirigeringshop er en forespørgsel for sig. En sideindlæsning, der fejler, prøves igen op til to gange. Nogle tests indlæser en side igen; testen af cookiebanneret åbner den for eksempel i et nyt browservindue uden cookies. Hvis et gratis tjek afbrydes, for eksempel fordi dets browser gik ned, eller scanningstjenesten blev stoppet, startes det forfra. Hvor mange forespørgsler det i alt giver, afhænger af webshoppen.

Hver forespørgsel, ValidiscanBot selv starter til din webshop, venter, til der er gået mindst 1 s efter, at den forrige blev startet, og efter, at den forrige blev besvaret, alt efter hvad der kommer sidst. Reglen gælder de almindelige forespørgsler, hvert omdirigeringshop, de følger, og hver sideindlæsning i browseren, også det nye vindue i testen af cookiebanneret. Den gælder pr. origin: protokol, hostnavn og port. For en sideindlæsning i browseren betyder »besvaret«, at sidens svar er nået frem, ikke at siden er færdigindlæst.

Når robots.txt er læst, udvider et Crawl-delay på mere end 1 s pausen, op til 10 s. Et kortere Crawl-delay forkorter ikke pausen.

De filer, en side selv indlæser, for eksempel stilark, scripts, billeder, skrifttyper, dataforespørgsler og frames, hører til indlæsningen af siden. De indlæses som i enhver browser, uden pausen.

Én undtagelse er kendt. Når din webshop besvarer en sideindlæsning i browseren med en omdirigering, følger browseren den med det samme, uden pausen og uden at kontrollere robots.txt. Validiscan har registreret det som en uløst mangel i sin scanner.

• Det lægger aldrig et produkt i kurven og åbner aldrig kurven eller kassen. Siderne med kurv og kasse indgår ikke i et gratis tjek.
• Det sender ingen formularer og logger ikke ind. Loginsiden indlæses kun som en side, der testes.
• Det bruger ingen adgangskode og scanner ikke en staging-kopi af webshoppen.

ValidiscanBot betjener hver side, som en besøgende ville, inde i sin egen browser. Den bevæger sig gennem siden med tastaturet. Den tester cookiebanneret og accepterer det derefter, så resten af siden kan testes; for at prøve bannerets knap til at afvise eller lukke og tasten Escape bruger den et nyt vindue uden cookies. Hvor en side har en vælger til produktvarianter, skifter den til en anden variant og derefter tilbage. Hvor en side har et adgangskodefelt, kontrollerer den med en testindsættelse, om det er blokeret at indsætte tekst i feltet; feltet efterlades, som det var. Dine siders egne scripts kan reagere, som de ville for enhver besøgende, for eksempel ved at registrere cookievalget.

Dens browser sender ingen forespørgsler til tjenesterne på en liste over kendte analyse-, annonce- og chattjenester og indlæser ingen video- eller lydfiler. Tjenester til cookiesamtykke står ikke på listen, fordi cookiebanneret er en del af det, der testes.

En gruppe for ValidiscanBot erstatter *-gruppen: ValidiscanBot følger så kun Disallow- og Allow-linjerne i sin egen gruppe. Hvis du tilføjer en gruppe for ValidiscanBot, så gentag i den de regler fra *-gruppen, som den fortsat skal følge. Med linjerne nedenfor holder ValidiscanBot sig ude af /account/, men må indlæse sider under /drafts/:

User-agent: *
Disallow: /drafts/

User-agent: ValidiscanBot
Disallow: /account/

I et gratis tjek kontrolleres robots.txt for andre sitemapfiler end dem, robots.txt selv nævner, for hver adresse fra sitemaps og links, for søge- og loginforespørgslerne, for hvert omdirigeringshop i de almindelige forespørgsler og for de sider og frames, browseren indlæser fra din webshops host. En side, hvis almindelige forespørgsel blev omdirigeret til en forbudt adresse, udelades.

Den kontrolleres ikke for:

• forespørgslen efter forsiden og dens omdirigeringer, som kommer, før robots.txt læses;
• de filer, en tilladt side selv indlæser, også fra en sti, som robots.txt forbyder;
• omdirigeringer, som browseren følger under en sideindlæsning (den uløste mangel, der er beskrevet ovenfor);
• sider uden for din webshops origin. ValidiscanBot læser kun robots.txt for den protokol, det hostnavn og den port, din forside endte på. En side på et andet hostnavn under samme domæne, som din webshop linker til, for eksempel blog.example.com ved siden af www.example.com, kan blive taget med, uden at den hosts robots.txt bliver læst.