Robots.txt

Le fichier robots.txt est un fichier texte, placé à la racine d’un site (https://exemple.fr/robots.txt), qui indique aux robots d’exploration les parties du site qu’ils sont invités à ne pas parcourir. Il est standardisé : le Robots Exclusion Protocol est décrit dans la RFC 9309 (IETF, 2022), et Google publie sa propre documentation. Un fichier minimal ressemble à ceci :

User-agent: *
Disallow: /prive/
Allow: /prive/public.html

Sitemap: https://exemple.fr/sitemap.xml

Les règles se lisent ainsi : chaque groupe commence par un User-agent (le robot visé, * pour tous), puis des règles Allow et Disallow avec des chemins. Selon la RFC 9309, la règle la plus spécifique l’emporte, c’est-à-dire celle dont le chemin compte le plus de caractères ; à égalité, la règle Allow est retenue. Le chemin distingue les majuscules et les minuscules. Google accepte les champs user-agent, allow, disallow et sitemap ; des champs comme crawl-delay ne sont pas pris en compte par Google.

C’est l’erreur la plus fréquente : croire que robots.txt sert à « désindexer » ou à cacher une page.

• Ce n’est pas une protection. La RFC 9309 le dit explicitement : ces règles ne sont pas une forme d’autorisation d’accès, et lister un chemin dans le fichier le rend public. Pour protéger un contenu, il faut une vraie authentification.
• Ce n’est pas un outil de désindexation. Google indique que le fichier sert surtout à éviter de surcharger le site de requêtes, pas à empêcher l’apparition d’une page dans les résultats : une URL bloquée peut rester indexée si d’autres pages y renvoient. Pour l’exclure des résultats, on utilise la balise ou l’en-tête noindex.
• Bloquer et « noindex » ne se combinent pas. Google précise que pour que noindex soit pris en compte, la page ne doit pas être bloquée par robots.txt : sinon le robot ne voit jamais la consigne.
• Ne bloquez pas les ressources utiles au rendu (styles, scripts) : Google avertit que cela l’empêche d’analyser correctement les pages qui en dépendent.

Ce que Google fait selon la réponse du serveur au moment de lire le fichier (documentation Google) :

• Réponse 2xx : le fichier est lu et appliqué.
• Erreur 4xx (sauf 429, par exemple un fichier absent en 404) : Google considère qu’il n’existe pas de fichier valide et explore sans restriction.
• Erreur 5xx (ou erreur réseau, DNS) : pendant les 12 premières heures, Google cesse d’explorer le site et réessaie ; ensuite il utilise la dernière version connue pendant 30 jours au plus. Un fichier qui répond en erreur serveur est donc plus pénalisant qu’un fichier absent.
• Redirections : Google suit au moins cinq sauts, puis traite le résultat comme un 404.

Autres limites : le fichier doit être en texte brut encodé en UTF-8 ; Google ignore ce qui dépasse 500 Kio ; il met généralement le contenu en cache 24 heures. La Search Console propose un rapport « robots.txt » dans ses paramètres, qui indique le fichier lu par Google.

Exemple illustratif. Un site propose une recherche interne dont les résultats (/recherche?q=…) génèrent une infinité d’URL sans valeur. Le webmaster ajoute Disallow: /recherche : les robots cessent de parcourir ces adresses, ce qui économise de l’exploration. En revanche, s’il voulait retirer de Google une page produit périmée, Disallow serait le mauvais outil : il faut la rediriger (voir redirection 301) ou la marquer noindex en la laissant accessible.

Un site sans robots.txt est-il pénalisé ?

Non : si le fichier répond en 404, Google explore sans restriction. Il est utile pour exclure des zones techniques et déclarer le sitemap, pas obligatoire.

Où déclarer le sitemap ?

La ligne Sitemap: avec l’URL complète est acceptée par Google ; on peut aussi envoyer le sitemap dans la Search Console. Voir la fiche sitemap XML.

Robots.txt empêche-t-il les robots d’IA ou les aspirateurs de site ?

Seulement ceux qui respectent le protocole. La documentation de Google le rappelle : le fichier ne peut pas obliger un robot à s’y conformer.

Quelle différence avec la balise meta robots ?

Robots.txt agit sur l’exploration d’une URL ; la balise meta robots agit sur son indexation et sur l’affichage de ses résultats. Les deux n’ont pas le même rôle et ne sont pas interchangeables.