Robots.txt-Checker
Prüft, ob ein bestimmter Pfad in der robots.txt einer Website erlaubt oder blockiert ist.
Funktion des Tools
Ruft die robots.txt-Datei einer Website ab, analysiert ihre Regelgruppen und prüft, ob ein bestimmter Pfad für einen gewählten User-Agent erlaubt oder blockiert ist.
Anwendung
Gib die URL einer Website, den zu prüfenden Pfad (Standard /) und einen User-Agent ein (Standard *, passt auf jeden Crawler ohne eigene Gruppe). Der Prüfer ruft /robots.txt dieser Website ab, findet die passende Regelgruppe und meldet, ob der Pfad erlaubt oder blockiert ist und welche Regel darüber entschieden hat.
Beispiel
Für eine Website, deren robots.txt /admin/ verbietet, aber /admin/public/ erlaubt, ergibt die Prüfung von /admin/public/page für * erlaubt, passend zur spezifischeren Regel Allow: /admin/public/ statt der breiteren Disallow: /admin/.
Prüfung und Sicherheit
Der Regelabgleich folgt der veröffentlichten robots.txt-Konvention: das am längsten passende Allow- oder Disallow-Muster gewinnt, bei Gleichstand gewinnt Allow, * passt auf eine beliebige Zeichenfolge, und ein abschließendes $ verankert den Treffer am Ende des Pfads. Eine Website ohne erreichbare robots.txt gilt standardmäßig als vollständig erlaubt.
Ergebnis interpretieren
Dies zeigt, was die Regeln besagen, nicht was jeder Crawler damit tatsächlich tut — regelkonforme Crawler wie große Suchmaschinen befolgen robots.txt, aber es ist eine freiwillige Konvention, kein Zugriffskontrollmechanismus, und verhindert nicht den direkten Zugriff auf eine Seite, deren URL bekannt ist.
Grenzen
Nur die Direktiven User-agent, Allow, Disallow, Crawl-delay und Sitemap werden analysiert; die Gruppe wird durch exakten User-Agent-Abgleich oder das *-Fallback gewählt, nicht durch Abgleich des längsten Teil-Produkt-Tokens, wie es manche Crawler bei eng verwandten Agent-Strings tun.
Datenschutz
Dieses Tool sendet die eingegebene Adresse an den eigenen Server von Quiklio, der die Netzwerkanfrage stellvertretend für dich stellt — die Zieladresse wird an keinen Dritten gesendet, außer was eine normale Anfrage an diese Adresse ohnehin preisgeben würde.
Häufig gestellte Fragen
- Was macht Robots.txt-Checker?
- Ruft die robots.txt-Datei einer Website ab, analysiert ihre Regelgruppen und prüft, ob ein bestimmter Pfad für einen gewählten User-Agent erlaubt oder blockiert ist.
- Kann dies genutzt werden, um interne oder private Adressen abzufragen?
- Ja, das wird blockiert. Anfragen an localhost, private IP-Bereiche und Cloud-Metadaten-Adressen werden abgelehnt, bevor überhaupt eine Prüfung läuft; die aufgelöste IP wird nach der DNS-Abfrage erneut geprüft, um eine Umgehung per Hostname zu verhindern, der zum Zeitpunkt der Anfrage auf eine private Adresse zeigt.
- Wird die geprüfte Adresse mit jemand anderem geteilt?
- Dieses Tool sendet die eingegebene Adresse an den eigenen Server von Quiklio, der die Netzwerkanfrage stellvertretend für dich stellt — die Zieladresse wird an keinen Dritten gesendet, außer was eine normale Anfrage an diese Adresse ohnehin preisgeben würde.