Testeur de robots.txt
Collez votre robots.txt et testez si une URL est explorable pour un user-agent donné, avec la règle exacte qui décide. Gratuit, côté client, sans compte.
Votre robots.txt
Un fichier robots.txt indique aux robots des moteurs quels chemins ils ont le droit de récupérer, et un seul Disallow mal placé peut empêcher discrètement l'exploration d'une page importante. Ce testeur de robots.txt gratuit analyse votre fichier comme le fait Googlebot, choisit le groupe user-agent correspondant et vous dit si chaque URL est autorisée ou bloquée, en nommant la règle exacte qui décide. Il est fait pour les SEO et les propriétaires de sites qui veulent confirmer ce qu'un robot peut atteindre avant une mise en ligne, pour que les bonnes pages restent visibles et soient trouvées.
Comment l'utiliser
Collez votre robots.txt
Déposez le contenu de votre fichier robots.txt. Les lignes Sitemap sont détectées et listées, et les groupes et règles sont analysés en direct à mesure que vous tapez.
Choisissez le user-agent
Saisissez le robot à tester, par exemple Googlebot ou *. Le testeur sélectionne le groupe le plus spécifique qui le nomme, exactement comme le ferait un vrai robot.
Testez vos URLs
Ajoutez une URL ou un chemin par ligne. Chacun reçoit un verdict Autorisé ou Bloqué, à côté de la règle Allow ou Disallow précise qui l'a produit.
Pourquoi c'est utile
Voyez la règle exacte qui décide
Au lieu de deviner, vous voyez quelle ligne Allow ou Disallow l'a emporté et pourquoi. Le testeur applique la précédence du plus long chemin de Google, où Allow bat Disallow à égalité, donc le verdict correspond à la lecture de Googlebot.
Fidèle au comportement réel des robots
Un robot n'obéit qu'au seul groupe user-agent le plus spécifique qui le nomme, jamais à une fusion de plusieurs. Cet outil choisit le groupe de la même façon : un blocage propre à Googlebot n'est pas caché derrière le groupe fourre-tout que vous lisiez.
Rien ne quitte votre navigateur
Toute la vérification tourne côté client. Votre robots.txt et vos URLs de test ne sont jamais envoyés ni conservés : vous pouvez tester des fichiers de préproduction et des sites clients en toute sécurité, sans connexion.
Comment un robot lit vraiment robots.txt
Explorer n'est pas indexer
L'erreur la plus courante sur robots.txt vient d'un malentendu : robots.txt contrôle l'exploration, pas l'indexation. Il indique aux robots respectueux quels chemins ils peuvent récupérer, rien de plus. Une page que vous bloquez dans robots.txt peut tout de même apparaître dans les résultats si d'autres pages la lient, car Google peut indexer l'URL à partir de ces liens sans jamais récupérer la page. Il l'affiche alors sans description, puisqu'il n'a jamais été autorisé à lire le contenu.
Autrement dit, bloquer une page dans robots.txt est le mauvais outil pour la sortir de l'index, l'inverse de ce que l'on croit souvent. Pour vraiment retirer une page de la recherche, laissez le robot la récupérer et ajoutez une balise meta noindex ou un en-tête X-Robots-Tag. Si l'URL est bloquée, Google ne voit jamais le noindex et la page s'attarde. Servez-vous de robots.txt pour économiser le budget de crawl sur les chemins peu utiles, et du noindex pour contrôler ce qui apparaît dans l'index.
Comment un robot choisit le groupe et la règle
Les règles sont groupées par user-agent, et un robot n'obéit qu'au groupe le plus spécifique qui le nomme. S'il existe un groupe Googlebot dédié, Googlebot ignore entièrement le groupe *, il ne combine pas les deux. Ce testeur résout le groupe comme un robot : le token user-agent le plus long qui correspond à votre robot l'emporte, à défaut le groupe *. Cela explique à soi seul bien des surprises, où une règle du groupe fourre-tout ne s'applique jamais au robot qui vous intéresse.
Le plus long correspond, Allow tranche
Dans le groupe choisi, quand plusieurs règles correspondent à une URL, la plus spécifique l'emporte, mesurée par la longueur du chemin qu'elle couvre, et Allow bat Disallow à égalité. Ainsi Disallow: /cart avec Allow: /cart/shared laisse passer /cart/shared tout en bloquant /cart. Le testeur montre exactement quelle ligne a décidé de chaque URL, pour voir pourquoi quelque chose est autorisé ou bloqué plutôt que de lire le fichier à l'œil.
Jokers, fichier public et tester ce qui part en production
Deux jokers sont pris en charge dans les motifs de chemin : * correspond à n'importe quelle suite de caractères, et $ ancre la fin de l'URL. Ainsi Disallow: /*.pdf$ bloque toute URL finissant par .pdf, tandis que Disallow: /search? bloque tout ce qui passe par votre point de recherche. Gardez les motifs aussi simples que nécessaire, car une longue chaîne de jokers est difficile à raisonner et facile à rater subtilement.
Rappelez-vous que robots.txt est un fichier public servi à /robots.txt, lisible par tous : n'y listez donc jamais de chemins secrets ou sensibles, cela ne ferait qu'indiquer où ils sont. Enfin, testez le fichier réellement en production. Un robots.txt correct dans votre dépôt peut différer de celui que votre serveur renvoie en ligne, où une règle de CDN ou une redirection égarée l'a modifié. Collez le fichier réel et rendu dans ce testeur pour valider ce que les robots reçoivent vraiment.
Ils utilisent Otorank
Questions fréquentes
Comment fonctionne la précédence dans robots.txt, pourquoi une page bloquée peut quand même ressortir, et ce que ce testeur vérifie ou non.
Non. Il ne contrôle que l'exploration. Une URL bloquée peut tout de même apparaître dans les résultats si d'autres pages la lient, affichée sans description. Pour la sortir de l'index, laissez-la s'explorer et ajoutez plutôt une balise ou un en-tête noindex.
Dans le groupe user-agent correspondant, la règle dont le chemin couvre le plus de caractères l'emporte, et Allow bat Disallow à égalité. Ce testeur applique cette même précédence du plus long chemin, Allow gagnant, et nomme la règle décisive pour chaque URL.
Un robot ne suit que le seul groupe le plus spécifique qui le nomme. Si un groupe Googlebot existe, Googlebot l'utilise exclusivement et ne fusionne jamais le groupe *, donc les règles fourre-tout ne s'appliquent tout simplement pas à lui.
Oui. * correspond à n'importe quelle suite de caractères et $ ancre la fin de l'URL, donc Disallow: /*.pdf$ bloque tous les PDF. Le testeur évalue les deux pour décider si un chemin correspond à une règle.
Non. Tout est analysé dans votre navigateur ; rien n'est transmis ni conservé, vous pouvez donc tester des fichiers de préproduction et des sites clients en toute sécurité, sans connexion.
Outils liés
Validateur de sitemap
Vérifiez que votre sitemap XML est bien formé et repérez locs manquants et dates invalides.
Vérificateur de structure de titres
Validez votre hiérarchie H1 à H6 pour l'accessibilité et le SEO.
Aperçu d'extrait SERP
Voyez comment votre titre et votre description apparaissent dans Google avant de publier.