Robots.txt ve SEO Arasındaki Önemli Bağ

Merhaba sayın kullanıcılarım.Bugün sizlere robots.txt dosyası ve arasındaki seo ilişkisinden bahsedeceğim.Bugün websitesini yeni yapıp yayınlayan bir sürü kişi var.Ve birçoğu yeni başladıkları için belki bu robots.txt dosyasından haberleri olmuyor.Ve google'da indexlenmiyoruz diye bir sürü ah çekiyorlar.Robots.txt dosyası Google SEO'nun nerdeyse omurgasıdır.Yani Arama motoru optimizasyonunun bel kemiği diyebiliriz.Peki nedir Robots.txt= Google sitenize geldiğinde sitenizi indexleme izni olup olmadığını bu dosyadan bakıyor.Yani sitenizin Root klasörüne (ana klasör) robots.txt diye bir dosya ekliyorsunuz.Ve içeriğinde izin verdiğiniz klasörler izin verdiğiniz yerler.Ve indexlenmesini istemediğiniz yerleri belirtiyorsunuz arama motoru botları buna göre sitenize gelip bu kurallara göre indexliyorlar sitenizi.Peki robots.txt koymazsak ne olur? Google Botlar dosyayı göremediği ve bulamadığı için genelde ilk index sayfayı indexlerler ve birdahada gelemeyebilirler.Ve alt sayfalarınız indexlenmez.

Peki Bir robots.txt dosyası nasıl hazırlanır?
Robots.txt dosyasını bir text editörde yani notepad'te yapabilirsiniz.Aşağıda gördüğünüz terimler kullanılarak bu izinleri ayarlayabilirsiniz.

User-Agent: [Örümcek ya da Bot ismi]
Disallow: [Klasör ya da Dosya ismi]


Diyelimki siz bütün arama motorlarının sitenize girmesini istiyorsunuz.Ayriyeten daha siteniz tam bitmemiş olduğunu ve /Hakkımızda/ bölümünün botlar tarafından indexlenmemesini istiyorsunuz o zaman şöyle bir robots.txt dosyası ayarlayacaksınız.

User-Agent: *
Disallow:/Hakkımızda/

Bu şekilde Not Defterinde yazdığımız metni robots.txt dosyası olarak kaydedip hostumuzun root klasörüne atarsak bu seo işlemini başarı ile tamamlamış olursunuz.