Cela peut-il servir à sonder des adresses internes ou privées ?

Oui, c'est bloqué. Les requêtes vers localhost, les plages d'IP privées et les adresses de métadonnées cloud sont refusées avant toute vérification, et l'IP résolue est revérifiée après la requête DNS pour empêcher de contourner cela avec un nom d'hôte pointant vers une adresse privée au moment de la requête.

Vérificateur de Robots.txt

Vérifie si un chemin spécifique est autorisé ou bloqué dans le robots.txt d'un site.

URL du siteChemin à vérifierUser-agent

Fonction de l'outil

Récupère le fichier robots.txt d'un site, analyse ses groupes de règles et vérifie si un chemin spécifique est autorisé ou bloqué pour un user-agent choisi.

Utilisation

Saisissez l'URL d'un site, le chemin à vérifier (par défaut /) et un user-agent (par défaut *, correspondant à tout robot sans groupe dédié). Le vérificateur récupère /robots.txt de ce site, trouve le groupe de règles correspondant et indique si le chemin est autorisé ou bloqué, ainsi que la règle qui a décidé.

Exemple

Pour un site dont le robots.txt interdit /admin/ mais autorise /admin/public/, vérifier /admin/public/page pour * renvoie autorisé, correspondant à la règle plus spécifique Allow: /admin/public/ plutôt qu'à la règle plus large Disallow: /admin/.

Validation et sécurité

La correspondance des règles suit la convention robots.txt publiée : le motif Allow ou Disallow le plus long l'emporte, les égalités vont à Allow, * correspond à toute séquence de caractères, et un $ final ancre la correspondance à la fin du chemin. Un site sans robots.txt accessible est considéré comme tout autorisant, le comportement par défaut standard.

Interprétation du résultat

Cela montre ce que disent les règles, pas ce que chaque robot en fait réellement — les robots respectueux comme les grands moteurs de recherche suivent le robots.txt, mais c'est une convention volontaire, pas un mécanisme de contrôle d'accès, et cela n'empêche pas d'accéder directement à une page dont l'URL est connue.

Limites

Seules les directives User-agent, Allow, Disallow, Crawl-delay et Sitemap sont analysées ; le groupe est choisi par correspondance exacte du user-agent ou le repli *, pas en comparant le plus long nom de jeton de produit partiel comme le font certains robots pour des chaînes d'agent étroitement liées.

Confidentialité

Cet outil envoie l'adresse saisie au propre serveur de Quiklio, qui effectue la requête réseau en votre nom — l'adresse cible n'est transmise à aucun tiers au-delà de ce qu'une requête normale vers cette adresse révélerait déjà.

Questions Fréquentes

Que fait Vérificateur de Robots.txt ?: Récupère le fichier robots.txt d'un site, analyse ses groupes de règles et vérifie si un chemin spécifique est autorisé ou bloqué pour un user-agent choisi.
Cela peut-il servir à sonder des adresses internes ou privées ?: Oui, c'est bloqué. Les requêtes vers localhost, les plages d'IP privées et les adresses de métadonnées cloud sont refusées avant toute vérification, et l'IP résolue est revérifiée après la requête DNS pour empêcher de contourner cela avec un nom d'hôte pointant vers une adresse privée au moment de la requête.
L'adresse vérifiée est-elle partagée avec quelqu'un d'autre ?: Cet outil envoie l'adresse saisie au propre serveur de Quiklio, qui effectue la requête réseau en votre nom — l'adresse cible n'est transmise à aucun tiers au-delà de ce qu'une requête normale vers cette adresse révélerait déjà.

Analyseur de Site Web

Vérifiez le titre, les balises meta et les en-têtes de n'importe quel site gratuitement.

Vérificateur de Statut HTTP

Vérifie le code de statut HTTP en direct qu'une URL renvoie actuellement.

Vérificateur DNS

Consulte les enregistrements A, AAAA, MX, TXT, NS et CNAME d'un domaine à l'instant.