Herramienta gratuita · sin cuenta

Robots.txt checker gratis

Pruebe su robots.txt con 42 rastreadores: Googlebot, Bingbot, los bots de IA, de publicidad, de herramientas SEO y de vistas previas sociales. Cada regla revisada línea por línea, cada problema explicado y un archivo corregido listo para copiar.

Comprobación de robots.txt gratis

Compruebe gratis su archivo robots.txt

Robots.txt checker y validador para cada regla del archivo

El robots.txt checker de ProStar SEO lee el archivo robots.txt de cualquier dominio y prueba cada regla tal como la aplican los rastreadores. Escriba un dominio y la herramienta obtiene robots.txt, sus versiones http y www, la página de inicio con sus enlaces, CSS, JavaScript e imágenes, cada sitemap declarado y llms.txt. Después pasa 42 rastreadores por sus reglas: Googlebot y los demás rastreadores de Google, Bingbot, Applebot, los rastreadores de búsqueda y de entrenamiento de IA, los bots de herramientas SEO y los de vistas previas sociales.

Cada hallazgo indica su gravedad, la línea de la que viene, por qué importa y cómo corregirlo. Los hallazgos críticos impiden el rastreo o la indexación. Las advertencias le cuestan cobertura de rastreo o citas en respuestas de IA. Los avisos merecen una mirada. La herramienta no da una nota sobre 100, porque una nota única oculta qué línea causa el problema.

Qué comprueba el validador de robots.txt

Primero van las comprobaciones del servidor. Un archivo robots.txt debe devolver HTTP 200 en texto plano. Un 404 indica a los rastreadores que pueden rastrearlo todo. Un error 5xx o 429 hace que Google trate todo el sitio como prohibido hasta que el archivo vuelve. Google sigue hasta cinco redirecciones para robots.txt, solo lee los primeros 500 KiB y omite la marca de orden de bytes.

Después vienen las comprobaciones de sintaxis. El validador señala directivas mal escritas como «Dissallow», dos puntos que faltan, reglas escritas antes de cualquier línea User-agent, URLs completas donde va una ruta, URLs de sitemap relativas y las directivas que Google ignora: Noindex, Crawl-delay y Host.

Las comprobaciones lógicas detectan los errores caros. Disallow: / bajo User-agent: * cierra el paso a todos los rastreadores que no nombra. Un grupo con nombre para Googlebot abandona en silencio sus reglas *. Unos archivos CSS y JavaScript bloqueados obligan a Google a renderizar una página rota. Una carpeta /wp-content/ bloqueada oculta un tema de WordPress. Un sitemap que lista URLs bloqueadas por robots.txt le da a Google dos instrucciones contrarias.

Generador de robots.txt: un archivo corregido a partir del suyo

La pestaña Archivo recomendado reescribe su robots.txt con todas las correcciones seguras aplicadas y lista cada cambio con su número de línea. Se corrigen las erratas, se quitan las directivas no admitidas, las URLs completas pasan a ser rutas, el CSS y el JavaScript bloqueados se reabren con reglas Allow específicas y se añade una línea Sitemap. Puede editar cualquier versión y volver a lanzar todas las comprobaciones antes de publicarla en su servidor.

Los 42 rastreadores que prueba el robots.txt checker

El comprobador pasa cada regla de su archivo por 42 rastreadores, cada uno con el nombre de user-agent que lee en robots.txt. La mitad son bots de IA. La otra mitad son los rastreadores de los buscadores, el rastreador de publicidad, las herramientas SEO y los bots de vistas previas sociales, que deciden cómo se rastrean, posicionan y comparten sus páginas. Cualquier otro user-agent se puede probar en el probador de URLs.

Buscadores10

Rastrean e indexan páginas para los resultados de búsqueda. Applebot sigue sus reglas de Googlebot cuando no tiene grupo propio.

  • GooglebotGoogle
  • Googlebot-ImageGoogle
  • Googlebot-VideoGoogle
  • Googlebot-NewsGoogle
  • Storebot-GoogleGoogle Shopping
  • BingbotMicrosoft
  • ApplebotApple
  • DuckDuckBotDuckDuckGo
  • YandexBotYandex
  • BaiduspiderBaidu

Búsqueda con IA5

Construyen los índices que citan las respuestas de IA. Un sitio que bloquea OAI-SearchBot queda fuera de las respuestas de ChatGPT search.

  • OAI-SearchBotOpenAI
  • Claude-SearchBotAnthropic
  • PerplexityBotPerplexity
  • DuckAssistBotDuckDuckGo
  • YouBotYou.com

Asistentes de IA5

Obtienen una página cuando un usuario la pide. OpenAI y Perplexity indican que estas visitas pueden no seguir robots.txt.

  • ChatGPT-UserOpenAI
  • Claude-UserAnthropic
  • Perplexity-UserPerplexity
  • MistralAI-UserMistral
  • meta-externalfetcherMeta

Entrenamiento de IA13

Recogen contenido para entrenar modelos. Google-Extended y Applebot-Extended son tokens de control, y anthropic-ai y Claude-Web son nombres obsoletos que la herramienta señala.

  • GPTBotOpenAI
  • ClaudeBotAnthropic
  • Google-ExtendedGoogle
  • Applebot-ExtendedApple
  • CCBotCommon Crawl
  • meta-externalagentMeta
  • BytespiderByteDance
  • AmazonbotAmazon
  • cohere-training-data-crawlerCohere
  • AI2BotAllen Institute
  • DiffbotDiffbot
  • anthropic-aiAnthropic, obsoleto
  • Claude-WebAnthropic, obsoleto

Publicidad1

AdsBot-Google revisa las páginas de destino de Google Ads e ignora el grupo *. Solo se aplica un grupo que lo nombre.

  • AdsBot-GoogleGoogle

Herramientas SEO5

Rastreadores de backlinks y auditorías. Bloquearlos oculta su sitio a esas herramientas, también para sus propias auditorías.

  • AhrefsBotAhrefs
  • SemrushBotSemrush
  • MJ12botMajestic
  • DotBotMoz
  • Screaming Frog SEO SpiderScreaming Frog

Vistas previas sociales3

Crean la tarjeta con título, imagen y descripción cuando alguien comparte su enlace en redes sociales.

  • facebookexternalhitMeta
  • TwitterbotX
  • LinkedInBotLinkedIn

Cómo lee Google un archivo robots.txt

Google interpreta robots.txt según la RFC 9309, el estándar del protocolo de exclusión de robots publicado en 2022. Un rastreador solo obedece a un grupo: aquel cuya línea User-agent lo nombra de forma más específica. Googlebot-Image recurre al grupo Googlebot, y el grupo * solo se aplica cuando ningún grupo nombra al rastreador. Los grupos que nombran al mismo rastreador se fusionan.

Dentro de ese grupo gana la ruta coincidente más larga. Cuando una regla Allow y una Disallow coinciden con la misma longitud, Google aplica Allow. El comodín * equivale a cualquier secuencia de caracteres y $ marca el final de la URL. Las rutas distinguen mayúsculas y minúsculas, así que Disallow: /Admin/ deja /admin/ abierto.

User-agent: *
Disallow: /private/
Allow: /private/press/

Con estas tres líneas, Googlebot puede rastrear /private/press/kit.pdf, porque la regla Allow es más larga que la Disallow, y no puede rastrear /private/plans.pdf.

Probador de robots.txt para cualquier URL y cualquier rastreador

La pestaña Probador de URLs responde a la pregunta de siempre: ¿esta URL está bloqueada? Pegue una ruta o una URL completa, elija un rastreador y el probador responde Permitido o Bloqueado con la línea exacta que lo decidió. Una segunda tabla pasa la misma URL por todos los rastreadores a la vez, la forma más rápida de comprobar el robots.txt de una sección nueva antes de lanzarla.

Los rastreadores de IA en robots.txt: búsqueda, asistentes y entrenamiento

Los rastreadores de IA hacen tres trabajos distintos, y un archivo robots.txt debe tratar cada uno por separado. Los rastreadores de búsqueda como OAI-SearchBot, Claude-SearchBot y PerplexityBot construyen los índices que citan las respuestas de IA. Los asistentes como ChatGPT-User y Claude-User cargan una página cuando un usuario la pide. Los rastreadores de entrenamiento como GPTBot, ClaudeBot y CCBot recogen contenido para entrenar modelos, mientras que Google-Extended y Applebot-Extended son tokens de control con el mismo fin.

Bloquear GPTBot mantiene su contenido fuera del entrenamiento de OpenAI y deja sus páginas disponibles para ChatGPT search, que controla OAI-SearchBot. Bloquear Google-Extended no afecta a la Búsqueda de Google, a AI Overviews ni al Modo IA, que se basan en Googlebot. El comprobador le pregunta primero qué espera de las herramientas de IA y después evalúa su archivo según ese objetivo. Para saber si las respuestas de IA ya citan su marca, use la auditoría de visibilidad IA gratis.

Una regla de robots.txt es una petición que cada rastreador decide respetar. OpenAI y Perplexity indican que las visitas iniciadas por usuarios pueden no seguirla, y Bytespider está ampliamente señalado por ignorarla. Solo una regla de cortafuegos bloquea con seguridad.

Robots.txt bloquea el rastreo. Noindex retira las páginas.

Una URL prohibida puede aparecer igualmente en Google cuando otras páginas la enlazan. Google la muestra sin descripción, porque robots.txt nunca dejó que Googlebot leyera la página. Para retirar una página de los resultados, deje que Google la rastree y añada una etiqueta meta noindex o una cabecera X-Robots-Tag. Bloquear y poner noindex a la misma URL hace invisible el noindex, así que la página sigue en el índice.

El comprobador prueba los enlaces internos de su página de inicio y una muestra de 50 URLs de sus sitemaps con sus reglas. Cualquier URL que su sitemap lista y robots.txt bloquea aparece como conflicto, con la línea responsable. Si sus posiciones cayeron tras un cambio en robots.txt, el comprobador de penalizaciones muestra cuándo cayeron las palabras clave de la primera página.

Preguntas frecuentes sobre el robots.txt checker

¿Cómo compruebo mi archivo robots.txt?

Escriba su dominio en el robots.txt checker de arriba. Para leer el archivo tal cual, abra https://sudominio.com/robots.txt en un navegador. El informe de robots.txt de Google Search Console, en Ajustes, muestra las versiones que Google obtuvo de cada host de su propiedad y cuándo las obtuvo.

¿Dónde va el archivo robots.txt?

El archivo va en la raíz de cada host, exactamente en /robots.txt. Se aplica a un protocolo y a un host, así que https://www.ejemplo.com/robots.txt no cubre https://tienda.ejemplo.com ni http://ejemplo.com. Cada subdominio necesita su propio archivo.

¿Admite Google Crawl-delay o Noindex en robots.txt?

No. Google ignora Crawl-delay y dejó de admitir Noindex en robots.txt en septiembre de 2019. Bing y Yandex sí respetan Crawl-delay, así que un valor alto ralentiza su rastreo de todo el sitio.

¿Debo bloquear GPTBot en robots.txt?

Depende de lo que espere de las herramientas de IA. Bloquear GPTBot mantiene su contenido fuera del entrenamiento de los modelos de OpenAI y no afecta a ChatGPT search. Elija «Que me citen, sin entrenamiento de IA» en el comprobador y el archivo recomendado bloquea los rastreadores de entrenamiento y deja abiertos los de búsqueda con IA.

¿Es gratis el robots.txt checker?

Sí, y sin cuenta. La herramienta solo lee archivos públicos y no cambia nada en su sitio. Cada red puede hacer 30 comprobaciones por hora.

Corrija sus problemas de rastreo e indexación

Robots.txt es solo un archivo en el camino del rastreo. El SEO técnico de ProStar SEO cubre el resto: redirecciones, etiquetas canónicas, sitemaps, renderizado y los informes de indexación de Search Console. Reserve 30 minutos con Eric St-Cyr y traiga los resultados del comprobador.