Un robot d’exploration, ou crawler, parcourt des URL et récupère leurs réponses. Il peut découvrir des pages par des liens, des sitemaps ou des informations déjà connues. Explorer ne signifie pas automatiquement indexer : ce sont deux étapes différentes.
Un parcours à vérifier
Lien dans une rubrique → URL demandée → réponse HTTP → contenu récupéré
Exemple pédagogique : un produit existe mais ne figure pas dans le crawl. Vérifiez d’abord si un lien permet de l’atteindre. Si le lien existe, regardez les règles du crawl, la réponse reçue et le rendu nécessaire.
L’absence d’une page dans un export peut venir d’une limite de nombre d’URL ou d’un filtre de l’outil, pas seulement du site.
Comparer un crawler SEO et Googlebot
Un outil d’audit reproduit une exploration selon ses réglages. Il n’a pas exactement les ressources, l’historique ni les systèmes de Google. Une réussite dans l’un ne prouve pas ce que l’autre a observé.
Pour reconnaître des requêtes Google dans les logs, ne vous fiez pas seulement au user-agent : celui-ci peut être imité. Google documente la vérification de ses robots.
Contrôler sans bloquer le contenu utile
Les règles robots.txt organisent l’exploration. Les erreurs HTTP et les liens défectueux peuvent empêcher l’accès. Une multitude de combinaisons de facettes peut créer un espace d’URL disproportionné.
Le rapport doit nommer l’étape en échec : découverte, requête, réponse ou rendu. Utilisez les journaux d’accès pour observer les requêtes réellement reçues, puis contrôlez séparément l’indexation et les pages orphelines.