Comment vérifier si les bots respectent bien mon budget de crawl ?

[ben1979]

Salut, j’ai fait des ajustements sur mon robots.txt pour optimiser mon budget de crawl, mais je ne sais pas si les bots suivent bien mes directives. Comment vérifier ça ?

[crawler06]

Tu peux utiliser Google Search Console dans la section « Exploration » pour voir combien de pages sont crawlees et si certaines sont bloquées par erreur.

[marion31]

Et si tu veux creuser encore plus, des outils comme Ahrefs ou SEMrush donnent des stats détaillées sur le crawl.

[ben1979]

Ok, je vais regarder dans Google Search Console d’abord. Les outils payants, c’est pour plus tard si vraiment besoin.

[cedric2001]

N’oublie pas aussi de vérifier les logs serveur. C’est le meilleur moyen de voir exactement ce que font les bots sur ton site.