robots.txt & sitemaps

On cite souvent robots.txt et les sitemaps XML dans la même phrase, mais ils font l'inverse l'un de l'autre. robots.txt indique aux robots où ils ne doivent pas aller. Un sitemap leur indique où vous aimeriez qu'ils aillent. Confondre les deux est à l'origine de la plupart des problèmes d'indexation que nous démêlons pour les marques e-commerce de Floride.

robots.txt contrôle le crawl, pas l'indexation

C'est la distinction qui piège presque tout le monde. Une URL bloquée dans robots.txt peut toujours apparaître dans Google — généralement sans description — si d'autres pages pointent vers elle, car Google n'a jamais chargé la page pour lire votre consigne. Si votre objectif est de garder une page hors de l'index, robots.txt est le mauvais outil.

Le fichier se trouve à la racine du domaine (votreboutique.com/robots.txt) et il est lu avant tout le reste. Pour une boutique classique, le schéma sûr est : tout autoriser par défaut, indiquer le sitemap, et ne bloquer que les URL qui génèrent un crawl sans fin et sans valeur.

• Bloquez la recherche interne (/search, ?q=) — elle crée des URL fines à l'infini
• Bloquez le panier, le tunnel de commande et les comptes — aucune valeur SEO, parfois sensibles
• Surveillez les paramètres de navigation à facettes (?color=, ?size=, ?sort=) qui multiplient les URL
• Ne bloquez jamais vos CSS ni vos JS — Google en a besoin pour afficher et juger la page
• Indiquez toujours l'URL absolue complète de votre sitemap

Une seule ligne peut faire des dégâts. Un Disallow: / laissé en ligne lors d'une refonte finira, en quelques jours, par retirer tout un site de la recherche. Chaque fois que vous touchez à ce fichier, testez-le dans la Search Console avant et après.

Disallow ou noindex : la décision à ne pas rater

Utilisez noindex (une balise meta robots ou un en-tête HTTP sur la page) quand vous voulez qu'une page soit crawlée mais tenue hors des résultats — pages de tags fines, listings filtrés, promotions expirées que vous voulez garder accessibles. Utilisez Disallow dans robots.txt quand vous voulez empêcher les robots de perdre du temps sur des URL qui n'ont aucune raison d'être chargées, comme l'explosion de paramètres à facettes.

Le piège : on ne peut pas faire les deux sur la même URL. Si vous la bloquez, Google ne peut pas la crawler, donc il ne voit jamais la balise noindex — et la page peut rester indexée indéfiniment. Pour retirer une page de façon fiable, autorisez le crawl et servez un noindex jusqu'à ce qu'elle disparaisse, puis bloquez-la ensuite si vous le souhaitez.

Des sitemaps XML vraiment utiles

Un sitemap est une liste choisie des URL que vous considérez comme canoniques et que vous voulez indexées. Pour une boutique, c'est un signal de qualité, pas un fourre-tout. L'erreur la plus fréquente que nous voyons : un sitemap rempli d'URL qui redirigent, renvoient une 404, sont en noindex ou non canoniques — ce qui apprend à Google à moins faire confiance à tout le fichier.

• N'incluez que des URL indexables, canoniques et en statut 200
• Excluez redirections, pages d'erreur, pages en noindex et doublons de paramètres
• Restez sous 50 000 URL et 50 Mo par fichier ; découpez les gros catalogues avec un index de sitemaps
• Laissez votre plateforme le régénérer automatiquement au fil des produits
• Gardez des dates lastmod honnêtes — une fraîcheur simulée ne sert à rien

Shopify, WooCommerce et PrestaShop génèrent tous un sitemap pour vous. Le vrai travail, c'est d'auditer ce qu'ils produisent : produits épuisés ou non publiés, pages de collection orphelines et URL de préproduction ont tous tendance à s'y glisser.

Soumettez-le, puis surveillez l'écart

Référencez le sitemap dans robots.txt et soumettez-le dans la Google Search Console, section Sitemaps. Surveillez ensuite le rapport — Google indique combien d'URL il a découvertes par rapport à celles qu'il a indexées. Un écart important est un signal à explorer, pas un chiffre à ignorer. Pour le fonctionnement de ce rapport et de l'outil d'inspection d'URL, voyez notre guide Google Search Console, et la documentation officielle robots.txt de Google pour la syntaxe exacte.

Au fond, c'est une question de budget de crawl

Sur un gros catalogue, chaque requête du robot dépensée sur un doublon filtré est une requête non dépensée sur un produit que vous voulez positionner. Resserrer robots.txt et nettoyer le sitemap, c'est diriger cette attention là où elle rapporte. Nous approfondissons dans le guide du budget de crawl et dans le guide du SEO technique. Si vous préférez déléguer, notre service de SEO technique traite crawl, indexation et sitemaps comme un seul chantier.