Robots.txt Dosyası Nedir? Nasıl Oluşturulur?

Robots.txt Nedir?

Robots.txt dosyası, sitenizde dizine eklenmesini ve taranmasını istemediğiniz sayfaların .txt dosyasıne eklenip Google’a bildirilerek bu sayfaların dizine eklenmesinin ve taranmasının önüne geçilmesini sağlar.

Siteyi taramaya gelen Google botları robots.txt dosyalarını siteyi tararken bir rehber olarak görürler hangi sayfaları tarayacakları ve bu sayfalar ne kadar süre ile tekrar ziyaret edileceği hakkında bilgi edinirler oldukça önemli olan bu Teknik SEO çalışması sitenin tarama bütçesini ve dizin sorunlarının önüne geçilebilmesi için yapılır.

Robots.txt dosyaları sadece Google arama botları için değil diğer arama motorlarının da faydalandığı bir dosya türüdür Yandex, Bing veya Baidu gibi büyük arama motorları sitenizi dizine eklemek için yine bu dosyadan faydalanır fakat sitenizin bu arama motorlarının dizinlerinde yer almasını istemiyorsanız dosya içerisinden bu arama motorlarını engelleyebilirsiniz.

Robots.txt Dosyası Ne İşe Yarar?

Tarama bütçesinin boşa harcanmasını engeller.
Sitenin özel sayfalarının dizine eklenmesini engeller.
Arama botlarının siteyi daha iyi keşfetmesini sağlar.
Sitenin hostinginin bot trafik saldırılarına karşı bot adreslerinin engellenmesi ile korunması sağlanır.
SEO çalışmaları için robots.txt dosyası çok önemlidir.

Robots.txt Dosyası Nasıl Oluşturur?

Sitenizi ziyaret eden arama motorlarına siteniz için yapacakları index işlemleri hakkında bazı komutlar verebilirsiniz aşağıda yer alan komutlar sayesinde kendi robots.txt dosyanızı örneklerdekileri uygulayarak oluşturabilirsiniz.

Robots.txt komutları sitenize erişebilecek arama motorlarını ve bunların hangi sayfalar için index çalışması yapacağını belirlemenizi sağlar buna ek olarak siteyi ziyaret eden arama motorlarının site sunucusunu ve tarama bütçesini boşa harcamaması için gecikme süresi hakkında bilgi vermenizi de sağlar.

User-agent
Allow
Disallow
crawl-delay
Sitemap
*

User-Agent

User-Agent, sitenizi taramaya gelen botların hangisinin engelleneceği hakkında bilgi verebilir örnek olarak Çin de popüler olan bir arama motorunu olan Baidunun sitenizi taramasını engelleyebilirsiniz veya “*” işaretini koyarak sitenizin tüm arama botları tarafından taranmasına izin verebilirsiniz.

User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php

Allow

Allow komutu ile sitede taranmasını istemediğiniz önemli üst sayfanın alt sayfasının taranmasını sağlayabilirsiniz örnek olarak e-ticaret sitenizin “Erkek Pantolon” kategorisinin dizine eklenmesini istemiyorsunuz fakat onun bir alt kategorisi olan “Erkek Kumaş Pantolon” kategorisinin dizine eklenmesini isterseniz “Allow” komutundan faydalanabilirsiniz.

Crawl-Delay

Crawl-Delay, arama motorları botlarına sitenin taranması süresi ile ilgili gecikme zamanı hakkında komut vermeyi sağlar bu komut ile sitenizin taranma sıklığını arama motorlarına bildirebilirsiniz.

User-agent: bingbot Crawl-delay: 2 User-agent:*

Disallow

Disallow, sitenizdeki sayfaların arama motorları tarafından taranmasını engellemek ve bu sayfaların dizine eklenmemesi gerektiğini bildirmek amacı ile kullanılır.

User-agent: bingbot Disallow: www.exampledomain/kot-pantolon

Sitemap

Sitemap, arama motoru botları sitedeki tüm sayfalara kolay ve hızlı bir şekilde ulaşabilmesi içi sitemap yani sitenin site haritası linkinden faydalanırlar bunun için SEO uzmanları oluşturdukları site haritasını robots.txt dosyasına ekleyerek botların bu sayfaları tarayarak diizne eklenmesini sağlayabilirler.

User-agent: bingbot Sitemap: https://www.siteadi.com/sitemap.xml

Robots.txt Komutları Nelerdir?

User-agent: Robots.txt dosyasının yönlendirildiği arama motoru veya web crawler’ı belirler. Örnek: User-agent: * (tüm arama motorları için) veya User-agent: Googlebot (sadece Google için).
Disallow: Arama motorlarının erişmemesi gereken dizin veya sayfaları belirler. Örnek: Disallow: /admin/ (admin dizininin taranmaması).
Allow: Arama motorlarının erişebileceği dizin veya sayfaları belirler. Örnek: Allow: /blog/ (blog dizininin taranmasına izin verir).
Sitemap: Web sitesinin sitemap dosyasının konumunu belirtir. Örnek: Sitemap: https://example.com/sitemap.xml.
Crawl-delay: Arama motorlarının web sitesini taraması için gerekli gecikme süresini belirler. Örnek: Crawl-delay: 5 (5 saniye gecikme).
Host: Web sitesinin ana ana bilgisayar adresini belirtir. Örnek: Host: https://example.com.
Request-rate: Bir saniyede arama motorunun web sitesine yapabileceği maksimum istek sayısını belirler. Örnek: Request-rate: 1/2 (saniyede en fazla 1 istek).
Noindex: Arama motorlarının ilgili sayfayı dizine eklemesini engeller. Örnek: Noindex: /category/
Nofollow: Arama motorlarının ilgili sayfadaki linkleri takip etmesini engeller. Örnek: Nofollow: /search/
Noarchive: Arama motorlarının ilgili sayfanın önbellek görüntüsünü oluşturmasını engeller. Örnek: Noarchive: /privacypolicy/
Nosnippet: Arama motorlarının ilgili sayfanın açıklama parçalarını göstermesini engeller. Örnek: Nosnippet: /pricing/
Unavailable_after: Arama motorlarının ilgili sayfaya erişemeyeceği tarihi belirtir. Örnek: Unavailable_after: 25 Jul 2024 15:00:00 UTC

Robots.txt Dosyası Nerede Bulunur?

Robots.txt dosyası, bir web sitesinin kök dizininde (domain.com/robots.txt) bulunur. Bu dosya, arama motorları ve diğer web crawlerlar tarafından ziyaret edilmemesi gereken dizinleri ve sayfaları belirlemek için kullanılır. Robots.txt dosyası, web sitesi yöneticileri tarafından oluşturulup yönetilir.

Robots.txt Dosyası Hakkında Dikkat Edilmesi Gerekenler

1. Robots.txt Dosyasının Konumu: Robots.txt dosyası, her web sitesinin kök dizininde (domain.com/robots.txt) bulunmalıdır. Dosyanın yanlış konumda olması, arama motorlarının sitenizi doğru taramasını engelleyebilir.

2. Robots.txt Sentaksı: Robots.txt dosyasının formatı ve sentaksı doğru olmalıdır. Aksi takdirde, arama motorları dosyayı doğru okuyamayabilir.

3. Robots.txt Komutları: Robots.txt dosyasında kullanılan komutlar ve direktifler (User-agent, Disallow, Allow, Sitemap vb.) doğru kullanılmalıdır.

4. Yetki Kapsamı: Robots.txt dosyası, arama motorlarının erişmemesi gereken sayfaları engellemek için kullanılır. Ancak, bu dosya yalnızca arama motorları için yetki kapsamına sahiptir. Diğer kullanıcılar ve uygulamalar için bir güvenlik önlemi değildir.

5. Güncel Tutma: Robots.txt dosyası, web sitesindeki değişikliklere göre düzenli olarak güncellenmelidir. Aksi takdirde, arama motorları istenmeyen sayfaları veya dizinleri tarayabilir.

6. Sitemap Entegrasyonu: Robots.txt dosyasında Sitemap bilgisinin yer alması, arama motorlarının web sitenizi daha etkin taramamasına yardımcı olur.

7. Test Etme: Robots.txt dosyasının doğru çalıştığından emin olmak için, düzenli olarak test edilmesi önemlidir.

İlginizi Çekebilecek Diğer İçerikler

Robots.txt Nedir? Nasıl Oluşturulur?