Robots.txt arama motorlarında sitenizin arama motor botlarının nereye girip nereye girmeyeceği yazmaktadır. Botların uğrayacağı ilk yer Robots.txt dosyasıdır. Çünkü sizin izniniz olmadan şifreli dosyalar veya önemli bilgileri indexleyebilir.
Doğru hazırlanan Robots.txt dosyası sitenizin hızını ve erişmesini istediğiniz dosyalara kolaylık sağlar yanlış kurulan Robots.txt dosyası siteniz için kötü sonuçlar doğurabilir.
Robots.txt Dosyası Nedir?
Basit bir komut dosyasıdır botlara sitenizin nereye gideceğini hangi dosyaların indexleyeceğini, hangi dosyalara erişmek istediğinizi yazmaktadır bu açıdan siteniz için önemli bir dosyadır. Her sitede bulunması gerekmektedir.
İstemediğimi dosysları google veya başka bir arama motoru indexleyebilir bu da sizin önemli bilgilerinizin herkese açık olmasını sağlamaktadır. Bu nedenle indexlenmesini istemediğiniz dosyaları kontrol altına alarak önemli dosyaları gizlemiş olursunuz.
Robots.txt Dosyası Kuralları
Robots.txt dosyasının belli birkaç adımı vardır bunları doğru yapmak sitenize katkısı olmaktadır.
- Dosyası mutlaka sitenin kök dizininde bulunması gerekmektedir.
- Dosyası UTF-8 kodlaması ile uygun ayarlanmalıdır.
- Dosyasının sitenin URL ile aynı olmalıdır.
Robots.txt dosyası herhangi bir klasörde olmaması gerekmektedir. Botlar siteye girdiğinde bakacağı ilk dizin ana dizindir böylelikle dosyanızı göremez. Bu yüzden dosyamız ana dizinde bulunması gerekmektedir.
Örnek kullanım;
Letrx.com/robots.txt : Doğru
Letrx.com/robot/robots.txt : Yanlış
UTF-8 Karakter Kodlaması
Düz bir metinden oluşması gereken dosyamız mutlaka UTF-8 karkteri ile hazırlanması gerekmektedir. Bu dosyanın herzaman hazır olması gerekmektedir sitemizin ana dizininde hazır halde bulunması gerekmektedir.
Grup Komutları
- Arama Motoru robotu Engelleme – İzin Verme
- Dizin Engelleme – İzin Verme
- Sayfa Engelleme – İzin Verme
- Tarama Gecikmesi Belirtme
Grup Dışı Komutlar
- Site Haritası Belirtme
- Yorum ve Notlar
User – Agent
Sitenizi hangi arama motorunun botu ziyaret etmemesi içindir. Hangi arama motoru tarafından taranmak istemiyorsanız bunu kullanmanız yeterlidir.
Kullanımı
Arama motoru botlarının tamamnı engelleme koymak için aşağıdaki kodu txt dosyanıza ekleyin ;
- User-agent: *
- Disallow
Dizin Engelleme – İzin Verme
Sitenizin belirlediğinizi klasörleri veya dizinleri engellemek için veya izin vermek için aşağıdaki örnek kullanıma bakabilirsiniz.
Kullanımı
Sitenizde yer alan bazı pdf kitaplarının taranmasını istemiyor iseniz bunu kullanabilirsiniz ;
- User-agent:*
- Disallow: /pdf/
Sayfa Engelleme – İzin Verme
Arama motorlarının botlarını hangi sayfaya girmesini istemediğiniz belirtmek için kullanılır. Allow veya disallow ile istediğiniz sayfaya engel koymak için kullanabilirsiniz.
Kullanımı
- User-agent: *
- Disallow: /reklam.html/
Sitemap – Grup Dışı Komutlar
Arama motolarının botları geldiğinde sitenizin xml dosyasına da bakmaktadır. XML dosyasyı her sitede bulunması gerekmektedir. Robot dosyası ile birlikte çalışmaktadır.
- User-agent: *
- Sitemap: https://letrxdemo.ml/sitemap.xml
Robots.txt Dosyası Oluşturma
Vereceğim linkten sitenize txt dosyası oluşturabilirsiniz sitenizin istemediğiniz ve birçok dizinini engellemk için kolay bir sistemdir.
Site: https://www.ihs.com.tr/seo/robots-txt-olusturucu
