AvisBoutiquesBot : notre robot d’analyse
Ce que fait le robot qui analyse les sites marchands à la demande des visiteurs, comment il s’identifie et comment l’exclure.
Identification
Le robot se présente avec l’en-tête User-Agent: Mozilla/5.0 (compatible; AvisBoutiquesBot/1.0; +https://avis-boutiques.com/robot). Son jeton pour le fichier robots.txt est AvisBoutiquesBot.
Ce qu’il fait
- Il intervient uniquement quand un visiteur demande l’analyse d’un domaine, et au plus une fois tous les trente jours par domaine.
- Il lit la page d’accueil puis au plus cinq pages d’information (mentions légales, CGV, contact, livraison, retours, confidentialité), soit six pages au total, à raison d’une requête à la fois.
- Il respecte le fichier
robots.txt(y comprisCrawl-delay) et n’accède jamais à des pages nécessitant une connexion. - Il limite chaque page à 1,5 Mo et chaque requête à quelques secondes.
- Il n’exécute pas de JavaScript, ne remplit aucun formulaire et ne passe aucune commande.
Ce qu’il conserve
Uniquement des signaux factuels : identifiants légaux de l’entreprise, pages trouvées, plateforme technique, moyens de paiement, dispositifs d’avis, liens vers les réseaux sociaux, en-têtes de sécurité, et les coordonnées génériques affichées publiquement. Le contenu des pages n’est pas conservé.
L’exclure
Ajoutez à votre fichier robots.txt :
User-agent: AvisBoutiquesBot
Disallow: /La fiche de votre domaine affichera alors uniquement les informations externes (registre du nom de domaine, certificat, plateformes d’avis). Pour toute question : la page Contact.