Robots.txt ve SEO Arasındaki Önemli Bağ

Merhaba sayın kullanıcılarım.Bugün sizlere robots.txt dosyası ve arasındaki seo ilişkisinden bahsedeceğim.Bugün websitesini yeni yapıp yayınlayan bir sürü kişi var.Ve birçoğu yeni başladıkları için belki bu robots.txt dosyasından haberleri olmuyor.Ve google'da indexlenmiyoruz diye bir sürü ah çekiyorlar.Robots.txt dosyası Google SEO'nun nerdeyse omurgasıdır.Yani Arama motoru optimizasyonunun bel kemiği diyebiliriz.Peki nedir Robots.txt= Google sitenize geldiğinde sitenizi indexleme izni olup olmadığını bu dosyadan bakıyor.Yani sitenizin Root klasörüne (ana klasör) robots.txt diye bir dosya ekliyorsunuz.Ve içeriğinde izin verdiğiniz klasörler izin verdiğiniz yerler.Ve indexlenmesini istemediğiniz yerleri belirtiyorsunuz arama motoru botları buna göre sitenize gelip bu kurallara göre indexliyorlar sitenizi.Peki robots.txt koymazsak ne olur? Google Botlar dosyayı göremediği ve bulamadığı için genelde ilk index sayfayı indexlerler ve birdahada gelemeyebilirler.Ve alt sayfalarınız indexlenmez.

Peki Bir robots.txt dosyası nasıl hazırlanır?
Robots.txt dosyasını bir text editörde yani notepad'te yapabilirsiniz.Aşağıda gördüğünüz terimler kullanılarak bu izinleri ayarlayabilirsiniz.

User-Agent: [Örümcek ya da Bot ismi]
Disallow: [Klasör ya da Dosya ismi]


Diyelimki siz bütün arama motorlarının sitenize girmesini istiyorsunuz.Ayriyeten daha siteniz tam bitmemiş olduğunu ve /Hakkımızda/ bölümünün botlar tarafından indexlenmemesini istiyorsunuz o zaman şöyle bir robots.txt dosyası ayarlayacaksınız.

User-Agent: *
Disallow:/Hakkımızda/

Bu şekilde Not Defterinde yazdığımız metni robots.txt dosyası olarak kaydedip hostumuzun root klasörüne atarsak bu seo işlemini başarı ile tamamlamış olursunuz.

Google sitemap ve katkıları

Herkes google'ın kendi sitesindeki en ince ayrıntıya kadar indexlemesini ister.

Özellikle forum sitesi olanlar için google'da indexli olmak hit için önemlidir.
Bunu yapmanın en güzel yolu ise sitemap hazırlamaktır. çoğu kişi biliyor ama bilmeyenler için söyleyelim.

Öncelikle online sitemap hazırlayan sitelerden birine girin ve tüm siteyi indexlemesi için URL'nizi yazıp gönderin. bugün denemek için bir sitemi yazdım ve birkaç saat içinde indexlemeye başladı (1 haftadır ancak 1-2 sayfa indexlemişti, sitemap sayesinde onlarcasını indexlemeye başladı.)

Online sitemap hazırlamak:
http://www.sitemapdoc.com/
http://www.resourceseo.com/sitemaps.php
http://www.xml-sitemaps.com/

Google'a sitemap girmek: (Gmail hesabınızla giriş yapabilirsiniz)
http://www.google.com/webmasters/sitemaps/login

Peki sitemapı yeni mi öğrendim? Hayır, fakat bu kadar kısa sürede işe yaradığını bugün farkettim, 1-2 saat içinde indexlemeye başladı. Bunu paylaşmak istedim.