Robots.txt, bir web sitesinin nasıl taranacağına dair talimatlar içeren bir dosyadır. Robot dışlama protokolü olarak da bilinen bu standart, siteler tarafından botlara web sitelerinin hangi bölümünün indekslenmesi gerektiğini bildirmek için kullanılır. Ayrıca, bu tarayıcılar tarafından işlenmesini istemediğiniz alanları da belirtebilirsiniz; bu alanlar yinelenen içerik içerir veya geliştirme aşamasındadır.
Arama motoru botlarının ilk baktığı dosya robotun .txt dosyasıdır; eğer bu dosya bulunamazsa, tarayıcıların sitenizin tüm sayfalarını indeksleme olasılığı çok düşüktür. Bu küçük dosya, daha fazla sayfa eklediğinizde küçük talimatlar yardımıyla daha sonra değiştirilebilir, ancak ana sayfayı “izin vermeme” yönergesine eklemediğinizden emin olun.
Robots.txt dosyasındaki yönergelerin amacı
Dosyayı manuel olarak oluşturuyorsanız, dosyada kullanılan yönergelerin farkında olmanız gerekir. Hatta bu yönergelerin nasıl çalıştığını öğrendikten sonra dosyayı daha sonra da değiştirebilirsiniz.
- Crawl-delay: Bu yönerge, tarayıcıların sunucuyu aşırı yüklemesini önlemek için kullanılır; çok fazla istek sunucuyu aşırı yükleyebilir ve bu da kötü bir kullanıcı deneyimine yol açabilir. Crawl-delay, arama motorlarının farklı botları tarafından farklı şekillerde ele alınır; Bing, Google, Yandex bu yönergeyi farklı şekillerde işler.
- İzin Ver: Bu yönerge, aşağıdaki URL’lerin dizine eklenmesini sağlamak için kullanılır. Özellikle bir alışveriş sitesi ise, istediğiniz kadar URL ekleyebilirsiniz, listeniz oldukça uzun olabilir. Ancak, robots dosyasını yalnızca sitenizde dizine eklenmesini istemediğiniz sayfalar varsa kullanın.
- Engelle: Robots dosyasının temel amacı, tarayıcıların belirtilen bağlantıları, dizinleri vb. ziyaret etmesini engellemektir. Ancak bu dizinlere, standartlara uymadıkları için kötü amaçlı yazılımları kontrol etmesi gereken diğer botlar da erişebilir.
Site Haritası ve Robots.txt Dosyası Arasındaki Fark
Site haritası, arama motorları için faydalı bilgiler içerdiğinden tüm web siteleri için hayati önem taşır. Site haritası, botlara web sitenizi ne sıklıkla güncellediğinizi ve sitenizin ne tür içerik sağladığını söyler. Temel amacı, arama motorlarına sitenizin taranması gereken tüm sayfalarını bildirmektir; robotik txt dosyası ise tarayıcılar içindir. Tarayıcılara hangi sayfayı tarayacaklarını ve hangisini taramayacaklarını söyler. Sitenizin dizine eklenmesi için site haritası gereklidir, oysa robotik txt dosyası (dizinlenmesi gerekmeyen sayfalarınız yoksa) gerekli değildir.
Bir yanıt bırakın