Robots.txt Kontrolcüsü
Bir sitenin robots.txt dosyasında belirli bir yolun izinli mi engelli mi olduğunu kontrol eder.
Bu araç ne yapar?
Bir sitenin robots.txt dosyasını getirir, kural gruplarını ayrıştırır ve seçilen bir user agent için belirli bir yolun izinli mi yoksa engelli mi olduğunu kontrol eder.
Nasıl kullanılır?
Bir sitenin URL'sini, kontrol etmek istediğiniz yolu (varsayılan /) ve bir user agent (varsayılan *, kendi grubu olmayan herhangi bir tarayıcıyla eşleşir) girin. Denetleyici o siteden /robots.txt'yi getirir, eşleşen kural grubunu bulur ve yolun izinli mi engelli mi olduğunu ve buna hangi kuralın karar verdiğini raporlar.
Örnek
/admin/'i engelleyen ama /admin/public/'e izin veren bir robots.txt'ye sahip bir site için, * için /admin/public/page kontrol edildiğinde, daha geniş Disallow: /admin/ yerine daha spesifik Allow: /admin/public/ kuralıyla eşleşerek izinli sonucu döner.
Doğrulama ve güvenlik
Kural eşleştirme yayımlanmış robots.txt kuralını izler: en uzun eşleşen Allow veya Disallow deseni kazanır, eşitlikte Allow tercih edilir, * herhangi bir karakter dizisiyle eşleşir ve sondaki $ eşleşmeyi yolun sonuna sabitler. Erişilebilir bir robots.txt'si olmayan bir site, standart varsayılan olarak her şeye izin veriyor sayılır.
Sonuç nasıl yorumlanır?
Bu, kuralların ne söylediğini gösterir, her tarayıcının bunlarla gerçekte ne yaptığını değil — büyük arama motorları gibi uyumlu tarayıcılar robots.txt'yi takip eder, ama bu gönüllü bir kuraldır, erişim kontrolü mekanizması değildir ve URL'si bilinen bir sayfaya doğrudan erişimi engellemez.
Sınırlamalar
Yalnızca User-agent, Allow, Disallow, Crawl-delay ve Sitemap talimatları ayrıştırılır; grup, bazı tarayıcıların yakından ilişkili agent dizeleri için yaptığı gibi en uzun kısmi ürün-token adı eşleştirmesiyle değil, tam bir user-agent eşleşmesi veya * yedeğiyle seçilir.
Gizlilik
Bu araç girdiğiniz adresi Quiklio'nun kendi sunucusuna gönderir; ağ isteğini sizin adınıza sunucu yapar — hedef adres, o adrese yapılan normal bir isteğin zaten göstereceğinden fazlasıyla üçüncü bir tarafa gönderilmez.
Sıkça Sorulan Sorular
- Robots.txt Kontrolcüsü ne yapar?
- Bir sitenin robots.txt dosyasını getirir, kural gruplarını ayrıştırır ve seçilen bir user agent için belirli bir yolun izinli mi yoksa engelli mi olduğunu kontrol eder.
- Bu, dahili veya özel adresleri sorgulamak için kullanılabilir mi?
- Evet, bu engellenir. localhost, özel IP aralıkları ve bulut metadata adreslerine istekler herhangi bir kontrol çalışmadan önce reddedilir; bir ana bilgisayar adının istek anında özel bir adrese işaret ederek bunun aşılmasını önlemek için çözümlenen IP, DNS sorgusundan sonra yeniden kontrol edilir.
- Kontrol edilen adres başka biriyle paylaşılıyor mu?
- Bu araç girdiğiniz adresi Quiklio'nun kendi sunucusuna gönderir; ağ isteğini sizin adınıza sunucu yapar — hedef adres, o adrese yapılan normal bir isteğin zaten göstereceğinden fazlasıyla üçüncü bir tarafa gönderilmez.