Wo sollte robots.txt platziert werden?

Im Stammverzeichnis deiner Domain, z. B. https://example.com/robots.txt — sie wird an keinem anderen Ort gelesen.

Garantiert Disallow, dass eine Seite aus Google verschwindet?

Nein — es blockiert nur das Crawling. Verwende ein noindex-Meta-Tag oder Passwortschutz, um Seiten vollständig aus Suchergebnissen fernzuhalten.

Warum erzeugt das Tool kein Crawl-delay?

Crawl-delay gehört nicht zu RFC 9309 und Google dokumentiert es nicht als unterstützte robots.txt-Regel. Verwenden Sie die vom jeweiligen Crawler dokumentierten Mechanismen zur Steuerung.

Robots.txt-Generator

Erstelle eine robots.txt-Datei, um zu steuern, welche Crawler auf deine Website zugreifen dürfen.

Dieses Tool läuft vollständig in deinem Browser. Deine Dateien werden niemals auf einen Server hochgeladen.

Explizite Allow-Regel für das Stammverzeichnis ergänzenGesperrte Pfade (ein Pfad relativ zum Stamm pro Zeile)Absolute Sitemap-URL (optional)

User-agent: *
Allow: /

Was dieses Werkzeug macht

Erstellt einen UTF-8-Entwurf für die universelle User-Agent-Gruppe. Möglich sind eine ausdrückliche Allow-Regel für die Wurzel, geprüfte wurzelrelative Disallow-Pfade und eine vollständig qualifizierte HTTP- oder HTTPS-Sitemap-Adresse.

So wird es verwendet

Tragen Sie pro Zeile einen mit Schrägstrich beginnenden Pfad und optional die kanonische Sitemap-URL ein. Prüfen Sie den Text und veröffentlichen Sie ihn als Klartext unter /robots.txt bei genau dem Protokoll, Host und Port, für die er gelten soll.

Durchgerechnetes Beispiel

Mit /admin/ und /search?sort= entstehen unter User-agent: * zwei Disallow-Zeilen. https://example.com/sitemap.xml wird getrennt als absoluter Sitemap-Eintrag ausgegeben.

Validierungsmethode

Der Generator bereinigt und dedupliziert Pfade, weist Zeilen ohne führenden Schrägstrich sowie Kommentare und Steuerzeichen zurück und akzeptiert nur HTTP- oder HTTPS-Sitemap-URLs ohne Zugangsdaten oder Fragment. Fehler werden gemeldet und ausgelassen.

Funktionsweise der Zuordnung

Robots-Regeln unterscheiden Groß- und Kleinschreibung und gleichen Pfadpräfixe ab. Nach RFC 9309 gilt die spezifischste passende Allow- oder Disallow-Regel; bei gleicher Länge soll Allow gewinnen. Prüfen Sie wichtige URLs zusätzlich beim Ziel-Crawler.

Crawling ist weder Indexierung noch Sicherheit

Disallow bittet regelkonforme Crawler, einen Pfad nicht abzurufen; es schützt keine Inhalte und eine gesperrte URL kann aus anderen Signalen indexiert werden. Private Daten brauchen Zugriffsschutz, für Suchausschluss ist eine crawlbare noindex-Antwort vorgesehen.

Datenschutz und Prüfung

Alles läuft lokal; Quiklio lädt Pfade und Sitemap-Adresse nicht hoch. Stellen Sie sicher, dass die veröffentlichte Datei an der Wurzel mit HTTP 200 als UTF-8-Klartext antwortet, und testen Sie repräsentative URLs in den Werkzeugen der Suchmaschine; Google- und RFC-9309-Hinweise geprüft September 2026.

Häufig gestellte Fragen

Wo sollte robots.txt platziert werden?: Im Stammverzeichnis deiner Domain, z. B. https://example.com/robots.txt — sie wird an keinem anderen Ort gelesen.
Garantiert Disallow, dass eine Seite aus Google verschwindet?: Nein — es blockiert nur das Crawling. Verwende ein noindex-Meta-Tag oder Passwortschutz, um Seiten vollständig aus Suchergebnissen fernzuhalten.
Warum erzeugt das Tool kein Crawl-delay?: Crawl-delay gehört nicht zu RFC 9309 und Google dokumentiert es nicht als unterstützte robots.txt-Regel. Verwenden Sie die vom jeweiligen Crawler dokumentierten Mechanismen zur Steuerung.

XML-Sitemap-Generator

Verwandle eine Liste von Seiten-URLs in eine gültige XML-Sitemap-Datei.

Canonical-URL-Generator

Erstelle einen sauberen Canonical-Link-Tag, um Duplicate-Content-Probleme zu vermeiden.

Meta-Titel- & Beschreibungs-Generator

Schreibe SEO-freundliche Titel- und Meta-Description-Tags mit Live-Zeichenzählung.