robots.txt : le fichier le plus mal compris du SEO
Le robots.txt contrôle l’exploration, pas l’indexation. Cette confusion est à l’origine de la plupart des accidents SEO qu’il provoque.
- Par
- Ghezali Naim
- Date de publication
- Temps de lecture
- 2 min de lecture
Réponse en bref
Le fichier robots.txt, placé à la racine du domaine, indique aux robots d’exploration les chemins qu’ils ne doivent pas parcourir. Il ne contrôle pas l’indexation : une page bloquée peut apparaître dans les résultats si d’autres sites pointent vers elle. Pour empêcher l’indexation, il faut une directive noindex sur une page accessible au robot — donc non bloquée par le robots.txt.
Un seul caractère mal placé dans ce fichier peut retirer un site entier des résultats de recherche. Il tient en quelques lignes et se vérifie en trente secondes. C’est pourtant l’une des causes les plus fréquentes de chute brutale de trafic.
Ce qu’il contrôle réellement
Le robots.txt s’adresse aux robots d’exploration et leur dit où ils peuvent aller. Il fonctionne par groupes : un User-agent désigne le robot concerné, puis des directives Disallow et Allow définissent les chemins interdits et autorisés.
Il est public : n’importe qui peut lire le vôtre. Il ne doit donc jamais servir à masquer des zones sensibles — l’y mentionner revient à les signaler.
La confusion qui coûte cher
Bloquer n’est pas désindexer. Si une URL bloquée reçoit des liens externes, elle peut apparaître dans les résultats, souvent sans description, parce que le robot n’a pas pu lire la page.
Pire : bloquer empêche de lire le noindex. Pour qu’une directive de non-indexation soit prise en compte, le robot doit pouvoir accéder à la page. Bloquer une URL dans le robots.txt tout en y plaçant un noindex produit exactement l’inverse de l’effet recherché.
La règle : pour désindexer, laisser l’accès et poser le noindex. Pour économiser du budget d’exploration, bloquer.
Les erreurs les plus fréquentes
- Le blocage global oublié après une recette.
Disallow: /laissé en production après une mise en ligne. C’est la première cause de disparition brutale d’un site. - Bloquer les ressources d’affichage. Interdire les fichiers de style ou de script empêche le moteur de rendre la page correctement et d’évaluer son affichage mobile.
- Confondre la casse et les variantes. Les chemins sont sensibles à la casse et une règle trop large emporte plus que prévu.
- Oublier le sitemap. La directive
Sitemap:accélère la découverte des URL. - Utiliser des directives non supportées. Certaines instructions historiques ne sont plus interprétées par les principaux moteurs.
Ce qu’il faut y mettre, et pas plus
Un robots.txt utile est court : bloquer les zones sans valeur pour la recherche — administration, panier, résultats de recherche interne, paramètres générant des combinaisons infinies — déclarer le sitemap, et rien d’autre. Chaque règle ajoutée est une règle à maintenir et un risque supplémentaire.
Sur un grand site, le robots.txt est un outil d’économie : il empêche l’exploration de dizaines de milliers d’URL sans valeur, au profit des pages qui doivent se positionner. Sur un petit site, son seul rôle est de ne pas faire de dégât.
Ce que cela change dans un système de croissance
Un levier isolé produit rarement un résultat durable. La valeur vient de la cohérence entre stratégie, acquisition, conversion et mesure.
Questions fréquentes
- Où doit se trouver le fichier ?
- À la racine du domaine, accessible en /robots.txt. Il ne s’applique qu’au domaine et au protocole où il est publié.
- Faut-il bloquer les robots des IA ?
- C’est un arbitrage : les bloquer garantit l’absence de citation dans les moteurs de réponse, les autoriser ne la garantit pas. À décider explicitement, pas par défaut.
- Comment vérifier qu’il ne bloque rien d’important ?
- La Search Console signale les pages bloquées. Un crawl du site permet de croiser les règles avec les URL réelles.
- Que faire d’une page bloquée qui apparaît quand même ?
- La débloquer, poser un noindex, attendre la réexploration, puis la bloquer à nouveau si nécessaire.
Passer de la lecture à la décision.
Un diagnostic permet de situer votre marketing, d’identifier les points de friction et d’arbitrer les priorités.
Demander un diagnostic
