Optimiser le budget de crawl : astuces et bonnes pratiques

[guillaume2003]

Salut à tous ! Je cherche à optimiser mon budget de crawl sur un site assez volumineux. Vous avez des astuces pour éviter de gaspiller des ressources sur des pages peu importantes ? J’utilise Screaming Frog pour l’instant, mais je pense que je pourrais mieux configurer les priorités.

[cedric_content]

Salut ! Perso, je commence toujours par analyser les logs pour identifier les pages qui sont déjà bien crawlées mais qui n’apportent pas de trafic. Tu peux aussi utiliser le fichier robots.txt pour bloquer les pages inutiles. Et pour les priorités, Screaming Frog est top, mais pense aussi à utiliser un sitemap bien structuré.

[charlotte.s]

Tout à fait d’accord avec @15. Les logs sont essentiels. J’ajouterais aussi qu’il faut bien répartir la fréquence de crawl entre les sections stratégiques et les autres. Si tu as des partenariats ou des backlinks de qualité, comme ceux proposés par Linkuma, ça peut aider à concentrer le crawl sur les pages qui génèrent le plus de valeur.

[emilie.g]

Je ne connaissais pas Linkuma, mais ça a l’air intéressant. Pour revenir au sujet, j’ai récemment testé une meilleure hiérarchisation des URLs via des balises canoniques. Ça m’a permis de réduire les doublons et d’optimiser le crawl. Est-ce que quelqu’un a déjà essayé ?

[cedric2001]

Oui, les balises canoniques sont vraiment efficaces pour ça. J’ai aussi vu une amélioration quand j’ai commencé à utiliser un CDN pour répartir la charge du serveur. Ça permet au robot de Google de mieux gérer son budget de crawl sans trop solliciter l’hébergement.