Outil gratuit · sans compte
Robots.txt checker gratuit
Testez votre robots.txt sur 42 robots : Googlebot, Bingbot, les robots d’IA, de publicité, d’outils SEO et d’aperçus sociaux. Chaque règle vérifiée ligne par ligne, chaque problème expliqué, et un fichier corrigé à copier.
Vérification robots.txt gratuite
Vérifiez votre fichier robots.txt gratuitement
Robots.txt checker et validateur pour chaque règle du fichier
Le robots.txt checker de ProStar SEO lit le fichier robots.txt de n’importe quel domaine et teste chaque règle comme les robots l’appliquent. Entrez un domaine : l’outil récupère le robots.txt, ses versions http et www, la page d’accueil avec ses liens, ses CSS, ses JavaScript et ses images, chaque sitemap déclaré et le llms.txt. Il fait ensuite passer 42 robots par vos règles : Googlebot et les autres robots de Google, Bingbot, Applebot, les robots de recherche et d’entraînement IA, les robots des outils SEO et ceux des aperçus sociaux.
Chaque constat indique sa gravité, la ligne concernée, la raison pour laquelle il compte et le correctif. Les constats critiques bloquent l’exploration ou l’indexation. Les avertissements vous coûtent de la couverture d’exploration ou des citations par l’IA. Les remarques méritent un coup d’œil. L’outil ne donne pas de note sur 100 : une note unique cache la ligne qui pose problème.
Ce que vérifie le validateur robots.txt
Les contrôles serveur passent en premier. Un fichier robots.txt doit renvoyer HTTP 200 en texte brut. Une 404 dit aux robots de tout explorer. Une erreur 5xx ou 429 amène Google à considérer tout le site comme interdit jusqu’au retour du fichier. Google suit jusqu’à cinq redirections pour le robots.txt, ne lit que les 500 premiers Kio et ignore une marque d’ordre des octets.
Viennent ensuite les contrôles de syntaxe. Le validateur signale les directives mal orthographiées comme « Dissallow », les deux-points manquants, les règles placées avant toute ligne User-agent, les URL complètes à la place d’un chemin, les URL de sitemap relatives et les directives que Google ignore : Noindex, Crawl-delay et Host.
Les contrôles logiques repèrent les erreurs coûteuses. Disallow: / sous User-agent: * ferme la porte à tous les robots que vous ne nommez pas. Un groupe nommé pour Googlebot abandonne en silence vos règles *. Des fichiers CSS et JavaScript bloqués obligent Google à afficher une page cassée. Un dossier /wp-content/ bloqué cache un thème WordPress. Un sitemap qui liste des URL bloquées par le robots.txt envoie à Google deux instructions contraires.
Générateur robots.txt : un fichier corrigé construit à partir du vôtre
L’onglet Fichier recommandé réécrit votre robots.txt avec tous les correctifs sans risque, et liste chaque changement avec son numéro de ligne. Les fautes de frappe sont corrigées, les directives non prises en charge retirées, les URL complètes transformées en chemins, les CSS et JavaScript bloqués rouverts par des règles Allow ciblées, et une ligne Sitemap ajoutée. Vous pouvez modifier n’importe quelle version et relancer tous les contrôles avant sa mise en ligne sur votre serveur.
Les 42 robots testés par le robots.txt checker
Le vérificateur passe chaque règle de votre fichier au crible de 42 robots, chacun sous le nom de user-agent qu’il lit dans le robots.txt. La moitié sont des robots d’IA. L’autre moitié regroupe les robots des moteurs de recherche, le robot publicitaire, les outils SEO et les robots d’aperçus sociaux, qui décident comment vos pages sont explorées, classées et partagées. Tout autre user-agent peut être testé dans le testeur d’URL.
Moteurs de recherche10
Explorent et indexent les pages pour les résultats de recherche. Applebot suit vos règles Googlebot quand il n'a pas de groupe propre.
GooglebotGoogleGooglebot-ImageGoogleGooglebot-VideoGoogleGooglebot-NewsGoogleStorebot-GoogleGoogle ShoppingBingbotMicrosoftApplebotAppleDuckDuckBotDuckDuckGoYandexBotYandexBaiduspiderBaidu
Recherche IA5
Construisent les index que citent les réponses IA. Un site qui bloque OAI-SearchBot est absent des réponses de ChatGPT search.
OAI-SearchBotOpenAIClaude-SearchBotAnthropicPerplexityBotPerplexityDuckAssistBotDuckDuckGoYouBotYou.com
Assistants IA5
Récupèrent une page quand un utilisateur la demande. OpenAI et Perplexity indiquent que ces visites peuvent ne pas suivre le robots.txt.
ChatGPT-UserOpenAIClaude-UserAnthropicPerplexity-UserPerplexityMistralAI-UserMistralmeta-externalfetcherMeta
Entraînement IA13
Collectent du contenu pour entraîner des modèles. Google-Extended et Applebot-Extended sont des jetons de contrôle, anthropic-ai et Claude-Web des noms obsolètes que l'outil signale.
GPTBotOpenAIClaudeBotAnthropicGoogle-ExtendedGoogleApplebot-ExtendedAppleCCBotCommon Crawlmeta-externalagentMetaBytespiderByteDanceAmazonbotAmazoncohere-training-data-crawlerCohereAI2BotAllen InstituteDiffbotDiffbotanthropic-aiAnthropic, obsolèteClaude-WebAnthropic, obsolète
Publicité1
AdsBot-Google vérifie les pages de destination Google Ads et ignore le groupe *. Seul un groupe qui le nomme s'applique.
AdsBot-GoogleGoogle
Outils SEO5
Robots de backlinks et d'audit. Les bloquer cache votre site à ces outils, y compris pour vos propres audits.
AhrefsBotAhrefsSemrushBotSemrushMJ12botMajesticDotBotMozScreaming Frog SEO SpiderScreaming Frog
Aperçus sociaux3
Créent la carte titre, image et description quand quelqu'un partage votre lien sur les réseaux sociaux.
facebookexternalhitMetaTwitterbotXLinkedInBotLinkedIn
Comment Google lit un fichier robots.txt
Google analyse le robots.txt selon la RFC 9309, la norme du protocole d’exclusion des robots publiée en 2022. Un robot n’obéit qu’à un seul groupe : celui dont la ligne User-agent le nomme de la façon la plus précise. Googlebot-Image se rabat sur le groupe Googlebot, et le groupe * ne s’applique que si aucun groupe ne nomme le robot. Les groupes qui nomment le même robot sont fusionnés.
Dans ce groupe, le chemin correspondant le plus long l’emporte. Quand une règle Allow et une règle Disallow correspondent avec la même longueur, Google applique Allow. Le joker * remplace n’importe quelle suite de caractères et $ marque la fin de l’URL. Les chemins sont sensibles à la casse : Disallow: /Admin/ laisse /admin/ ouvert.
User-agent: * Disallow: /private/ Allow: /private/press/
Avec ces trois lignes, Googlebot peut explorer /private/press/kit.pdf, parce que la règle Allow est plus longue que la règle Disallow, et ne peut pas explorer /private/plans.pdf.
Testeur robots.txt pour toute URL et tout robot
L’onglet Testeur d’URL répond à la question de tous les jours : cette URL est-elle bloquée ? Collez un chemin ou une URL complète, choisissez un robot, et le testeur répond Autorisé ou Bloqué avec la ligne exacte qui a décidé. Un second tableau fait passer la même URL par tous les robots à la fois, le moyen le plus rapide de vérifier le robots.txt d’une nouvelle section avant son lancement.
Les robots d'IA dans le robots.txt : recherche, assistants et entraînement
Les robots d’IA font trois métiers différents, et un fichier robots.txt doit traiter chacun séparément. Les robots de recherche comme OAI-SearchBot, Claude-SearchBot et PerplexityBot construisent les index que citent les réponses IA. Les assistants comme ChatGPT-User et Claude-User chargent une page quand un utilisateur la demande. Les robots d’entraînement comme GPTBot, ClaudeBot et CCBot collectent du contenu pour entraîner des modèles, tandis que Google-Extended et Applebot-Extended sont des jetons de contrôle pour le même usage.
Bloquer GPTBot tient votre contenu à l’écart de l’entraînement d’OpenAI et laisse vos pages admissibles dans ChatGPT search, que contrôle OAI-SearchBot. Bloquer Google-Extended n’a aucun effet sur la recherche Google, les AI Overviews ou le Mode IA, qui reposent tous sur Googlebot. Le vérificateur vous demande d’abord ce que vous attendez des outils d’IA, puis évalue votre fichier selon cet objectif. Pour savoir si les réponses IA citent déjà votre marque, lancez l’audit de visibilité IA gratuit.
Une règle du robots.txt est une demande que chaque robot choisit de respecter. OpenAI et Perplexity indiquent que les visites lancées par un utilisateur peuvent ne pas la suivre, et Bytespider est largement signalé comme l’ignorant. Seule une règle de pare-feu bloque à coup sûr.
Le robots.txt bloque l'exploration. Le noindex retire les pages.
Une URL interdite peut quand même apparaître dans Google quand d’autres pages y font des liens. Google l’affiche sans description, parce que le robots.txt n’a jamais laissé Googlebot lire la page. Pour retirer une page des résultats, laissez Google l’explorer et ajoutez une balise meta noindex ou un en-tête X-Robots-Tag. Bloquer et passer en noindex la même URL rend le noindex invisible : la page reste dans l’index.
Le vérificateur teste les liens internes de votre page d’accueil et un échantillon de 50 URL de vos sitemaps contre vos règles. Toute URL listée dans votre sitemap et bloquée par le robots.txt apparaît comme un conflit, avec la ligne responsable. Si vos positions ont chuté après une modification du robots.txt, le vérificateur de pénalité montre quand les mots-clés de la première page ont décroché.
FAQ du robots.txt checker
Comment vérifier mon fichier robots.txt ?
Entrez votre domaine dans le robots.txt checker ci-dessus. Pour lire le fichier brut, ouvrez https://votredomaine.com/robots.txt dans un navigateur. Le rapport robots.txt de Google Search Console, dans Paramètres, montre les versions que Google a récupérées pour chaque hôte de votre propriété et à quel moment.
Où placer le fichier robots.txt ?
Le fichier se place à la racine de chaque hôte, exactement à /robots.txt. Il s’applique à un protocole et à un hôte : https://www.exemple.com/robots.txt ne couvre ni https://boutique.exemple.com ni http://exemple.com. Chaque sous-domaine a besoin de son propre fichier.
Google prend-il en charge Crawl-delay ou Noindex dans le robots.txt ?
Non. Google ignore Crawl-delay et ne prend plus en charge Noindex dans le robots.txt depuis septembre 2019. Bing et Yandex respectent encore Crawl-delay : une valeur élevée ralentit leur exploration de tout votre site.
Faut-il bloquer GPTBot dans le robots.txt ?
Cela dépend de ce que vous attendez des outils d’IA. Bloquer GPTBot tient votre contenu à l’écart de l’entraînement des modèles d’OpenAI et ne touche pas ChatGPT search. Choisissez « Être cité, sans entraînement IA » dans le vérificateur : le fichier recommandé bloque les robots d’entraînement et laisse ouverts les robots de recherche IA.
Le robots.txt checker est-il gratuit ?
Oui, sans compte. L’outil ne lit que des fichiers publics et ne modifie rien sur votre site. Chaque réseau peut lancer 30 vérifications par heure.
Faites corriger vos problèmes d'exploration et d'indexation
Le robots.txt n’est qu’un fichier sur le chemin de l’exploration. Le SEO technique de ProStar SEO couvre le reste : redirections, balises canoniques, sitemaps, rendu et rapports d’indexation de Search Console. Réservez 30 minutes avec Eric St-Cyr et apportez les résultats du vérificateur.