Robots.txt Oluşturucu
Hangi tarayıcıların sitenize erişebileceğini kontrol etmek için bir robots.txt dosyası oluşturun.
Bu araç tamamen tarayıcınızda çalışır. Dosyalarınız hiçbir zaman bir sunucuya yüklenmez.
User-agent: * Allow: /
Bu araç ne yapar
Evrensel user-agent grubu için UTF-8 robots.txt taslağı üretir. Site köküne açık Allow kuralı, doğrulanmış köke göre Disallow yolları ve tam bir HTTP veya HTTPS site haritası adresi ekleyebilir.
Nasıl kullanılır
Her satıra eğik çizgiyle başlayan bir yol yazın, isterseniz canonical site haritası URL'sini girin ve kopyalamadan önce çıktıyı inceleyin. Düz metin dosyasını yöneteceği protokol, sunucu ve portun kökündeki /robots.txt adresinde yayımlayın.
Çalışılmış örnek
/admin/ ve /search?sort= yolları engellendiğinde User-agent: * altında iki Disallow kaydı oluşur. https://example.com/sitemap.xml değeri ayrı ve mutlak bir Sitemap kaydı olarak eklenir.
Doğrulama yöntemi
Araç yolları temizleyip tekrarları kaldırır; eğik çizgiyle başlamayan, yorum veya kontrol karakteri içeren satırları reddeder. Kimlik bilgisi ve parça içermeyen HTTP/HTTPS site haritası URL'leri kabul edilir; geçersiz girdiler bildirilip çıktıdan çıkarılır.
Eşleştirme nasıl çalışır
Robots kuralları büyük-küçük harfe duyarlı yol öneki kalıplarıdır. RFC 9309'a göre eşleşen en özel Allow veya Disallow kuralı kazanır; eşit özgüllükte Allow tercih edilmelidir. Önemli URL'leri hedeflediğiniz tarayıcıyla ayrıca test edin.
Tarama, indeksleme veya güvenlik değildir
Disallow uyumlu tarayıcıdan yolu istememesini rica eder; kimlik doğrulamaz ve engellenen URL başka sinyallerle indekslenebilir. Özel veriyi erişim kontrolüyle koruyun; aramadan çıkarma için taranabilir bir noindex yanıtı kullanın.
Gizlilik ve doğrulama
Üretim yerel çalışır; Quiklio yolları veya site haritası adresini yüklemez. Yayımlanan dosyanın site kökünde UTF-8 düz metin ve HTTP 200 döndürdüğünü kontrol edin, ardından örnek URL'leri ilgili arama motoru araçlarıyla test edin; Google ve RFC 9309 rehberleri Eylül 2026'da incelendi.
Sıkça Sorulan Sorular
- robots.txt nereye yerleştirilmeli?
- Alan adınızın kök dizinine, örn. https://example.com/robots.txt — başka herhangi bir konumdan okunmaz.
- Disallow bir sayfanın Google'da yer almayacağını garanti eder mi?
- Hayır — yalnızca taramayı engeller. Sayfaları arama sonuçlarından tamamen uzak tutmak için noindex meta etiketi veya parola koruması kullanın.
- Bu araç neden Crawl-delay eklemiyor?
- Crawl-delay RFC 9309'un parçası değildir ve Google bunu desteklenen robots.txt kuralı olarak belgelemez. Tarama davranışını hedef tarayıcının belgelediği yöntemlerle yapılandırın.
İlgili Araçlar
XML Site Haritası Oluşturucu
Sayfa URL'leri listesini geçerli bir XML site haritası dosyasına dönüştürün.
Canonical URL Oluşturucu
Yinelenen içerik sorunlarından kaçınmak için temiz bir canonical link etiketi oluşturun.
Meta Başlık ve Açıklama Oluşturucu
Canlı karakter sayacıyla SEO uyumlu başlık ve meta açıklama etiketleri yazın.