Page 1 sur 1
Comment vérifier si les bots respectent bien mon budget de crawl ?
Publié : jeu. mai 07, 2026 2:44 pm
par ben1979
Salut, j’ai fait des ajustements sur mon robots.txt pour optimiser mon budget de crawl, mais je ne sais pas si les bots suivent bien mes directives. Comment vérifier ça ?
Re: Comment vérifier si les bots respectent bien mon budget de crawl ?
Publié : jeu. mai 07, 2026 4:44 pm
par crawler06
Tu peux utiliser Google Search Console dans la section « Exploration » pour voir combien de pages sont crawlees et si certaines sont bloquées par erreur.
Re: Comment vérifier si les bots respectent bien mon budget de crawl ?
Publié : jeu. mai 07, 2026 7:44 pm
par marion31
Et si tu veux creuser encore plus, des outils comme Ahrefs ou SEMrush donnent des stats détaillées sur le crawl.
Re: Comment vérifier si les bots respectent bien mon budget de crawl ?
Publié : jeu. mai 07, 2026 8:44 pm
par ben1979
Ok, je vais regarder dans Google Search Console d’abord. Les outils payants, c’est pour plus tard si vraiment besoin.
Re: Comment vérifier si les bots respectent bien mon budget de crawl ?
Publié : ven. mai 08, 2026 12:44 am
par cedric2001
N’oublie pas aussi de vérifier les logs serveur. C’est le meilleur moyen de voir exactement ce que font les bots sur ton site.