Robots.txt Nedir? En Çok Kullanılan robots.txt Komutları Nelerdir?

Arama motorlarına ait botlar herhangi bir web sitesini tararken, ilk önce robots.txt dosyasını ararlar. Arama motoru botlarının asli görevi bir web sitesinin sayfalarını taramak ve arşivlemektir. Robots.txt dosyasıyla sitenizin bazı bölümlerini arama motoru botlarının erişimine kapatmak isteyebilirsiniz. İşte Robots.txt dosyası bu amaç için kullanabileceğiniz yöntemlerden birisidir.

robots.txt nedir nasıl kullanılır

Robots.txt Nedir?
Robots.txt, arama motoru yazılımlarına sitenizin hangi bölümlerini dizine ekleyebileceğini, hangi dizini taraması gerektiğini, hangi arama motoru yazılımının giriş izni olduğunu veya olmadığını söylemeye yarayan basit bir komut dosyasıdır. Örümcek olarak da adlandırılabilen Arama motoru yazılımları sitenize geldiğinde ilk olarak bu dosyayı tarar ve dosyadaki komutlara göre sitenin izin verilen bölümlerini dizine ekler.

Öncelikle dosyanın adı “robots.txt” olmalıdır; tamamen küçük harfle. “robots.txt” dosyanız sitenizin sadece kök dizinine yerleştirilmeli ve UTF-8 karakter kodlamasına sahip olmalıdır.

Doğru: http://www.ornek.com/robots.txt
Yanlış: http://www.ornek.com/dosyalar/robots.txt

En Çok Kullanılan robots.txt Komutları

Tüm tarayıcıları siteden engellemek:

User-agent: *
Disallow: /

Tüm tarayıcıların sitedeki içeriği taramasına izin vermek:

User-agent: *
Disallow:

Bir klasörden bir arama motoru boyunu engellemek:

User-agent: Googlebot
Disallow: /ornek-dosya/

Bir arama motoru botunu bir sayfadan engellemek:

User-agent: Googlebot
Disallow: /ornek-dosya/engellenecek-sayfa

Bu yazıyı oylayın!
[toplam: 2 ortalama: 5]

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir