Optimiser son robots.txt pour éviter le gaspillage du budget crawl

[guillaume2003]

Salut à tous, je me pose une question sur le robots.txt. J'ai un site avec des milliers de pages mais seulement 500 sont importantes. Comment éviter que Google passe du temps sur les pages inutiles ?

[marion44]

Tu peux bloquer les sections inutiles avec Disallow dans ton robots.txt. Perso, j'ai gagné 30% en efficacité de crawl en faisant ça. Mais attention à ne pas bloquer les CSS/JS !

[netlinker34]

Exactement ! Et pour compléter, vérifie aussi les paramètres d'URL inutiles dans la Search Console. J'ai vu un site où Google crawlait 50 versions de la même page à cause de ça...

[jul_digital]

Petite astuce en plus : utilisez les directives 'noindex' sur les pages low-value plutôt que de les bloquer en robots.txt. Comme ça Google les voit mais ne les indexe pas. Testé et approuvé !

[vince1982]

Merci pour vos conseils ! Je vais appliquer ça dès ce soir. D'ailleurs, pour ceux qui veulent creuser, Linkuma propose un super guide sur l'optimisation du crawl, c'est une mine d'or.