Sitemap, robots.txt, canonicals : guide pratique anti-indexation

Le contrôle de l'indexation détermine quelles pages Google voit et référence. Des erreurs peuvent :

• Bloquer l'indexation de pages importantes
• Laisser des pages sensibles apparaître dans Google
• Créer du contenu dupliqué
• Gaspiller votre crawl budget

Ce guide vous explique comment utiliser chaque outil correctement.

Qu'est-ce que c'est ?
Un fichier XML qui liste les URLs que vous souhaitez voir indexées.

Ce que le sitemap fait :

• Aide Google à découvrir vos pages
• Indique la date de dernière modification
• Suggère une priorité (peu utilisé par Google)

Ce que le sitemap NE fait PAS :

• Garantir l'indexation
• Forcer une fréquence de crawl
• Remplacer les liens internes

Exemple de sitemap simple :

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://example.com/</loc>
    <lastmod>2026-01-10</lastmod>
  </url>
  <url>
    <loc>https://example.com/services/</loc>
    <lastmod>2026-01-08</lastmod>
  </url>
</urlset>

Éléments :

• <loc> : URL de la page (obligatoire)
• <lastmod> : Date de dernière modification (recommandé)
• <changefreq> : Fréquence de mise à jour (ignoré par Google)
• <priority> : Priorité relative (ignoré par Google)

Qu'est-ce que c'est ?
Un fichier texte à la racine du site qui donne des instructions aux robots.

Ce que le robots.txt fait :

• Interdire le crawl de certaines parties du site
• Indiquer l'emplacement du sitemap
• Économiser le crawl budget

Ce que le robots.txt NE fait PAS :

• Empêcher l'indexation (pages connues par liens peuvent être indexées)
• Protéger des données sensibles
• Remplacer l'authentification

Exemple de robots.txt :

User-agent: *
Disallow: /admin/
Disallow: /panier/
Disallow: /compte/
Allow: /

Sitemap: https://example.com/sitemap.xml

Syntaxe :

• User-agent: * = S'applique à tous les robots
• Disallow: = Interdit le crawl
• Allow: = Autorise le crawl (priorité sur Disallow)
• Sitemap: = Indique le sitemap

Bloquer un répertoire :
Disallow: /admin/

Bloquer un type de fichier :
Disallow: /*.pdf$

Bloquer les paramètres d'URL :
Disallow: /*?*

Autoriser un sous-répertoire bloqué :

Disallow: /private/
Allow: /private/public-page/

Bloquer un robot spécifique :

User-agent: GPTBot
Disallow: /

Qu'est-ce que c'est ?
Une balise HTML qui indique la version préférée d'une page quand plusieurs URLs montrent le même contenu.

Syntaxe :
<link rel="canonical" href="https://example.com/page/" />

Quand l'utiliser :

• Pages accessibles avec et sans www
• Pages avec paramètres d'URL (tri, filtres)
• Contenu syndiqué/republié
• Versions mobile/desktop séparées
• Pagination

Page avec paramètres :
URL visitée : /produits/?tri=prix
Canonical : /produits/

Pagination :
URL : /blog/page/2/
Canonical : /blog/page/2/ (auto-référencement)
OU : /blog/ (si vous voulez consolider)

Version imprimable :
URL : /article/print/
Canonical : /article/

HTTPS vs HTTP :
Toutes les versions HTTP → Canonical vers HTTPS

Qu'est-ce que c'est ?
Une instruction pour dire à Google de ne PAS indexer une page.

Syntaxe :
<meta name="robots" content="noindex">
ou
<meta name="robots" content="noindex, nofollow">

Quand l'utiliser :

• Pages de remerciement/confirmation
• Résultats de recherche interne
• Pages panier/compte utilisateur
• Pages de staging/test
• Pages avec contenu dupliqué volontaire

Différence cruciale :

E-commerce avec filtres :

• Pages catégories : canonical auto + sitemap
• Pages filtrées : canonical vers catégorie parent
• Pages produits : canonical auto + sitemap

Blog avec tags :

• Articles : canonical auto + sitemap
• Pages tags : noindex ou canonical vers tag principal
• Pages auteur : noindex ou canonical selon stratégie

Site multilingue :

• Chaque version : canonical auto-référencement
• Ajouter hreflang pour lier les versions
• Sitemap séparé par langue ou index global