Letrx - Cyber Security Blog

BİLİŞİME DAİR HERŞEY

Siber Güvenlik

Robots.txt Dosyası Nedir ? Nasıl Oluşturulur?

robots-txt-nedir

robots-txt-nedir

Robots.txt arama motorlarında sitenizin arama motor botlarının nereye girip nereye girmeyeceği yazmaktadır. Botların uğrayacağı ilk yer Robots.txt dosyasıdır. Çünkü sizin izniniz olmadan şifreli dosyalar veya önemli bilgileri indexleyebilir.

Doğru hazırlanan Robots.txt dosyası sitenizin hızını ve erişmesini istediğiniz dosyalara kolaylık sağlar yanlış kurulan Robots.txt dosyası siteniz için kötü sonuçlar doğurabilir.

Robots.txt Dosyası Nedir?

Basit bir komut dosyasıdır botlara sitenizin nereye gideceğini hangi dosyaların indexleyeceğini, hangi dosyalara erişmek istediğinizi yazmaktadır bu açıdan siteniz için önemli bir dosyadır. Her sitede bulunması gerekmektedir.

İstemediğimi dosysları google veya başka bir arama motoru indexleyebilir bu da sizin önemli bilgilerinizin herkese açık olmasını sağlamaktadır. Bu nedenle indexlenmesini istemediğiniz dosyaları kontrol altına alarak önemli dosyaları gizlemiş olursunuz.

Robots.txt Dosyası Kuralları

Robots.txt dosyasının belli birkaç adımı vardır bunları doğru yapmak sitenize katkısı olmaktadır.

  • Dosyası mutlaka sitenin kök dizininde bulunması gerekmektedir.
  • Dosyası UTF-8 kodlaması ile uygun ayarlanmalıdır.
  • Dosyasının sitenin URL ile aynı olmalıdır.

Robots.txt dosyası herhangi bir klasörde olmaması gerekmektedir. Botlar siteye girdiğinde bakacağı ilk dizin ana dizindir böylelikle dosyanızı göremez. Bu yüzden dosyamız ana dizinde bulunması gerekmektedir.

Örnek kullanım;

Letrx.com/robots.txt : Doğru

Letrx.com/robot/robots.txt : Yanlış

UTF-8 Karakter Kodlaması

Düz bir metinden oluşması gereken dosyamız mutlaka UTF-8 karkteri ile hazırlanması gerekmektedir. Bu dosyanın herzaman hazır olması gerekmektedir sitemizin ana dizininde hazır halde bulunması gerekmektedir.

Grup Komutları

  • Arama Motoru robotu Engelleme – İzin Verme
  • Dizin Engelleme – İzin Verme
  • Sayfa Engelleme – İzin Verme
  • Tarama Gecikmesi Belirtme

Grup Dışı Komutlar

  • Site Haritası Belirtme
  • Yorum ve Notlar

User – Agent

Sitenizi hangi arama motorunun botu ziyaret etmemesi içindir. Hangi arama motoru tarafından taranmak istemiyorsanız bunu kullanmanız yeterlidir.

Kullanımı

Arama motoru botlarının tamamnı engelleme koymak için aşağıdaki kodu txt dosyanıza ekleyin ;

  • User-agent: *
  • Disallow

Dizin Engelleme – İzin Verme

Sitenizin belirlediğinizi klasörleri veya dizinleri engellemek için veya izin vermek için aşağıdaki örnek kullanıma bakabilirsiniz.

Kullanımı

Sitenizde yer alan bazı pdf kitaplarının taranmasını istemiyor iseniz bunu kullanabilirsiniz ;

  • User-agent:*
  • Disallow: /pdf/

Sayfa Engelleme – İzin Verme

Arama motorlarının botlarını hangi sayfaya girmesini istemediğiniz belirtmek için kullanılır. Allow veya disallow ile istediğiniz sayfaya engel koymak için kullanabilirsiniz.

Kullanımı

  • User-agent: *
  • Disallow: /reklam.html/

Sitemap – Grup Dışı Komutlar

Arama motolarının botları geldiğinde sitenizin xml dosyasına da bakmaktadır. XML dosyasyı her sitede bulunması gerekmektedir. Robot dosyası ile birlikte çalışmaktadır.

  • User-agent: *
  • Sitemap: https://www.letrx.com/sitemap.xml

Robots.txt Dosyası Oluşturma

Vereceğim linkten sitenize txt dosyası oluşturabilirsiniz sitenizin istemediğiniz ve birçok dizinini engellemk için kolay bir sistemdir.

Site: https://www.ihs.com.tr/seo/robots-txt-olusturucu

Leave a Reply

Theme by Anders Norén