Comprobador de Robots.txt

Obtiene el archivo robots.txt de un sitio, analiza sus grupos de reglas y comprueba si una ruta específica está permitida o bloqueada para un agente de usuario elegido.

Introduce la URL de un sitio, la ruta que quieres comprobar (por defecto /) y un user agent (por defecto *, que coincide con cualquier rastreador sin grupo dedicado). El comprobador obtiene /robots.txt de ese sitio, encuentra el grupo de reglas correspondiente e informa si la ruta está permitida o bloqueada y qué regla lo decidió.

Para un sitio cuyo robots.txt prohíbe /admin/ pero permite /admin/public/, al comprobar /admin/public/page para * se obtiene permitido, coincidiendo con la regla más específica Allow: /admin/public/ en lugar de la más amplia Disallow: /admin/.

La coincidencia de reglas sigue la convención publicada de robots.txt: gana el patrón Allow o Disallow que coincida más largo, los empates van a Allow, * coincide con cualquier secuencia de caracteres y un $ final ancla la coincidencia al final de la ruta. Un sitio sin robots.txt accesible se considera que permite todo, el valor por defecto estándar.

Esto muestra lo que dicen las reglas, no lo que hace realmente cada rastreador con ellas — los rastreadores bien portados como los grandes buscadores siguen el robots.txt, pero es una convención voluntaria, no un mecanismo de control de acceso, y no impide acceder directamente a una página si se conoce su URL.

Solo se analizan las directivas User-agent, Allow, Disallow, Crawl-delay y Sitemap; el grupo se elige por coincidencia exacta de user-agent o el respaldo *, no comparando el nombre de token de producto parcial más largo como hacen algunos rastreadores con cadenas de agente muy relacionadas.

Esta herramienta envía la dirección que introduces al propio servidor de Quiklio, que realiza la solicitud de red en tu nombre — la dirección de destino no se envía a ningún tercero más allá de lo que ya revelaría una solicitud normal a esa dirección.