Le budget de crawl expliqué

Le budget de crawl, c'est le nombre d'URL que Googlebot va récupérer sur votre site sur une période donnée. Google le décrit lui-même comme deux forces : la limite de taux d'exploration, l'intensité qu'il peut appliquer sans ralentir votre serveur, et la demande d'exploration, l'envie qu'il a de vos pages selon leur popularité et leur fraîcheur. Le produit des deux fixe un plafond concret à ce qui sera exploré.

Faut-il vraiment s'en préoccuper ?

Pour la plupart des petits sites, non. Si votre boutique compte quelques centaines d'URL, Google les explorera toutes sans peine et le budget de crawl n'est pas votre goulot d'étranglement : ce sont le contenu et les liens. Le sujet devient réel quand un site est volumineux ou génère des URL plus vite qu'il ne publie de pages utiles. En général, cela correspond à l'un de ces cas :

• Catalogues de dizaines de milliers de produits, voire plus
• Boutiques où la navigation à facettes engendre d'innombrables combinaisons de filtres et de tris
• Sites avec identifiants de session, paramètres de tracking ou calendriers infinis dans les URL
• Rotation produit fréquente, où les pages nouvelles et modifiées doivent être trouvées vite

Où le budget fuit

Quand Googlebot dépense sa dotation sur les mauvaises URL, le symptôme est une indexation lente des pages qui comptent : une nouvelle collection reste invisible pendant des semaines, ou les changements de prix et de stock tardent à remonter. Le gaspillage vient presque toujours des mêmes endroits, des URL sans valeur que Google réexplore sans cesse :

• URL à paramètres issues des filtres, du tri et de la pagination
• Combinaisons de facettes qui dupliquent la catégorie parente
• Soft 404 et pages pauvres qui renvoient un 200 au lieu d'un vrai statut
• Longues chaînes de redirections qui consomment une requête à chaque saut
• Liens internes pointant vers des URL redirigées ou mortes

Orienter Googlebot volontairement

Le but n'est pas de faire crawler davantage Google, mais de lui faire crawler les bonnes choses. Quelques leviers font l'essentiel du travail.

Éliminer d'abord les URL sans valeur

Utilisez le robots.txt pour stopper l'exploration des motifs de paramètres qui n'ont jamais à être indexés, et renvoyez des codes de statut honnêtes, de vrais 404 ou 410 pour les produits disparus, afin que Google cesse d'y revenir. Cela recoupe largement votre configuration robots.txt et sitemap, l'endroit le plus rentable pour façonner ce qui est exploré.

Baliser le chemin avec des signaux propres

• Tenez un sitemap XML qui ne liste que des URL canoniques, indexables et en statut 200, sans redirections, sans noindex, sans paramètres
• Aplatissez les chaînes de redirections pour qu'une ancienne URL pointe vers sa destination finale en un seul saut
• Corrigez les liens internes pour qu'ils visent l'URL finale, pas une redirection
• Renforcez le maillage interne vers les pages prioritaires, car la demande d'exploration suit les liens et l'autorité que vous envoyez en interne

Le mesurer honnêtement

On ne pilote pas un budget de crawl à l'aveugle. Deux sources disent la vérité. Le rapport Statistiques d'exploration de la Search Console montre le total des requêtes dans le temps, les codes de réponse et les types de fichiers récupérés. L'analyse des logs serveur va plus loin : elle révèle exactement quelles URL Googlebot a demandées, à quelle fréquence, et quelle part de cet effort est partie sur du paramètre inutile plutôt que sur de vrais produits. Si une large part des visites de Googlebot porte sur des URL filtrées, vous avez trouvé la fuite. Ce travail sur les logs est au cœur de notre service de SEO technique.

Traitez le budget de crawl comme de la plomberie, pas comme un levier de croissance. Le corriger ne fera pas grimper à lui seul une page qui ne mérite pas de se positionner. Ce qu'il fait, c'est supprimer la friction entre la publication d'un bon contenu et le moment où Google le voit vraiment, ce qui, sur une grosse boutique, peut faire la différence entre se positionner ce mois-ci ou le trimestre prochain.