Comment optimiser son crawl avec Screaming Frog pour un site de grande taille ?

[jul_digital]

Salut à tous, je gère un site avec plusieurs milliers de pages et je galère à optimiser mon crawl avec Screaming Frog. Des conseils pour éviter de saturer le serveur ou de rater des pages importantes ?

[crawler06]

Hello ! J’ai été dans la même situation. Mon astuce : utilise les filtres pour exclure les pages non essentielles comme les PDF ou les pages de tags. Ça réduit considérablement le temps de crawl.

[charlotte.s]

Perso, j’ajoute à ça un réglage pour limiter les requêtes par seconde. Et je fais des crawls partiels en segmentant par section. Ça évite les erreurs 500.

[aurelie1969]

Très bons conseils ! J’ajouterais aussi de vérifier régulièrement les logs serveurs pour identifier les pages qui génèrent trop de requêtes. Ça permet d’ajuster au fur et à mesure.

[jul_digital]

Merci à tous pour vos retours ! Je vais tester ça dès aujourd’hui. Vous avez des recommandations pour les exports CSV ? J’ai l’impression que Screaming Frog plante quand il y a trop de données.