Robots.txt Kontrolcüsü

Bir sitenin robots.txt dosyasını getirir, kural gruplarını ayrıştırır ve seçilen bir user agent için belirli bir yolun izinli mi yoksa engelli mi olduğunu kontrol eder.

Bir sitenin URL'sini, kontrol etmek istediğiniz yolu (varsayılan /) ve bir user agent (varsayılan *, kendi grubu olmayan herhangi bir tarayıcıyla eşleşir) girin. Denetleyici o siteden /robots.txt'yi getirir, eşleşen kural grubunu bulur ve yolun izinli mi engelli mi olduğunu ve buna hangi kuralın karar verdiğini raporlar.

/admin/'i engelleyen ama /admin/public/'e izin veren bir robots.txt'ye sahip bir site için, * için /admin/public/page kontrol edildiğinde, daha geniş Disallow: /admin/ yerine daha spesifik Allow: /admin/public/ kuralıyla eşleşerek izinli sonucu döner.

Kural eşleştirme yayımlanmış robots.txt kuralını izler: en uzun eşleşen Allow veya Disallow deseni kazanır, eşitlikte Allow tercih edilir, * herhangi bir karakter dizisiyle eşleşir ve sondaki $ eşleşmeyi yolun sonuna sabitler. Erişilebilir bir robots.txt'si olmayan bir site, standart varsayılan olarak her şeye izin veriyor sayılır.

Bu, kuralların ne söylediğini gösterir, her tarayıcının bunlarla gerçekte ne yaptığını değil — büyük arama motorları gibi uyumlu tarayıcılar robots.txt'yi takip eder, ama bu gönüllü bir kuraldır, erişim kontrolü mekanizması değildir ve URL'si bilinen bir sayfaya doğrudan erişimi engellemez.

Yalnızca User-agent, Allow, Disallow, Crawl-delay ve Sitemap talimatları ayrıştırılır; grup, bazı tarayıcıların yakından ilişkili agent dizeleri için yaptığı gibi en uzun kısmi ürün-token adı eşleştirmesiyle değil, tam bir user-agent eşleşmesi veya * yedeğiyle seçilir.

Bu araç girdiğiniz adresi Quiklio'nun kendi sunucusuna gönderir; ağ isteğini sizin adınıza sunucu yapar — hedef adres, o adrese yapılan normal bir isteğin zaten göstereceğinden fazlasıyla üçüncü bir tarafa gönderilmez.