Robots.txt dosyası oluşturma

# 1. Kural
User-agent: Googlebot
Disallow: /nogooglebot/

# 2. Kural
User-agent: *
Allow: /

Site haritası: http://www.example.com/sitemap.xml

1. "Googlebot" tarayıcısı adlı kullanıcı aracısı, http://example.com/nogooglebot/ klasörünü veya herhangi bir alt dizinini taramamalıdır.
2. Diğer tüm kullanıcı aracıları sitenin tamamına erişebilir. (Tam erişim sağlandığı varsayımından hareketle bu durum belirtilmese dahi sonuç aynı olacaktır.)
3. Sitenin Site haritası dosyası, http://www.example.com/sitemap.xml adresinde bulunmaktadır.

Temel robots.txt yönergeleri

Biçim ve konum

• Dosya, robots.txt olarak adlandırılmalıdır.
• Sitenizde yalnızca bir robots.txt dosyası olabilir.
• Robots.txt dosyası, geçerli olduğu web sitesi ana makinesinin kök dizininde bulunmalıdır. Örneğin, http://www.example.com/ altındaki tüm URL'lerde taramayı kontrol etmek için robots.txt dosyası http://www.example.com/robots.txt konumuna yerleştirilmelidir. Bir alt dizine (örneğin, http://example.com/pages/robots.txt) yerleştirilemez. Web sitenizin kök dizinine nasıl erişeceğinizden emin değilseniz veya bunun için izin almanız gerekiyorsa web barındırma hizmeti sağlayıcınıza başvurun. Web sitenizin kök dizinine erişemiyorsanız, meta etiketler gibi alternatif bir engelleme yöntemini kullanın.
• Robots.txt dosyası alt alan adları (ör. http://website.example.com/robots.txt) veya standart olmayan bağlantı noktaları (ör. http://example.com:8181/robots.txt) için geçerli olabilir.
• Yorumlar herhangi bir satırda olabilir 

Söz dizimi

• Robots.txt bir ASCII veya UTF-8 metin dosyası olmalıdır. Başka hiçbir karaktere izin verilmez.
• Robots.txt dosyası, bir veya daha fazla kuraldan oluşur.
• Her kural çok sayıda yönergeden (talimattan) oluşur ve her satırda bir yönerge bulunur.
• Bir kuralda şu bilgiler verilir:
  • Kuralın kimin için geçerli olacağı (kullanıcı aracısı)
  • Söz konusu aracının erişebileceği dizinler veya dosyalar ve/veya
  • Söz konusu aracının erişemeyeceği dizinler veya dosyalar.
• Kurallar yukarıdan aşağıya doğru işlenir ve kullanıcı aracısı, yalnızca bir kural grubuyla eşleşebilir. Bu, belirli bir kullanıcı aracısıyla eşleşen ilk ve en ayrıntılı kural olur.
• Varsayılan olarak bir kullanıcı aracısının Disallow: kuralıyla engellenmeyen bir sayfayı veya dizini tarayabileceği kabul edilir.
• Kurallar büyük/küçük harfe duyarlıdır. Örneğin, Disallow: /file.asp kuralı http://www.example.com/file.asp için geçerli olur ancak http://www.example.com/FILE.asp için geçerli değildir.

• User-agent: [Gerekli, her kural için bir veya daha fazla] Kuralın geçerli olduğu arama motoru robotunun (web tarayıcı yazılımı) adı. Bu, herhangi bir kuralın ilk satırıdır. Çoğu kullanıcı aracısı, Web Robotları Veritabanı'nda veya Google kullanıcı aracısı listesinde listelenmektedir. Bir yol öneki, sonek veya dizenin tamamı için * joker karakterini destekler. Aşağıdaki örnekte olduğu gibi kullanılacak bir yıldız işareti (*) çeşitli AdsBot tarayıcıları dışındaki tüm tarayıcılarla eşleşir. Eşleşmeyen AdsBot tarayıcıların adlarının açık bir şekilde belirtilmesi gerekir. (Google tarayıcı adları listesine bakın.) Örnekler:

  # 1. Örnek: Yalnızca Googlebot'u engelleme
  User-agent: Googlebot
  Disallow: /
  
  # 2. Örnek: Googlebot'u ve Adsbot'u engelleme
  User-agent: Googlebot
  User-agent: AdsBot-Google
  Disallow: /
   
  # 3. Örnek: AdsBot tarayıcıları dışındaki her şeyi engelleme
  User-agent: * 
  Disallow: /

• Disallow: [Kural başına en az bir veya daha fazla Disallow veya Allow] Kullanıcı aracısı tarafından taranmaması gereken bir dizin veya sayfa; kök alanla göreli olarak belirtilir. Bu bir sayfaysa, tarayıcıda gösterildiği şekliyle tam sayfa adı olmalıdır; bir dizinse, / işaretiyle sona ermelidir.  Yol önekleri, sonek veya dizenin tamamı için * joker karakterini destekler.
• Allow: [Kural başına en az bir veya daha fazla Disallow veya Allow] Az önce bahsedilen kullanıcı aracısı tarafından taranması gereken bir dizin veya sayfa; kök alanla göreli olarak belirtilir. Bu parametre, izin verilmeyen bir dizindeki bir alt dizinin veya sayfanın taranmasına izin vermek üzere Disallow parametresini geçersiz kılmak için kullanılır. Bu bir sayfaysa, tarayıcıda gösterildiği şekliyle tam sayfa adı olmalıdır; bir dizinse, / işaretiyle sona ermelidir. Yol önekleri, sonek veya dizenin tamamı için * joker karakterini destekler.
• Sitemap: [İsteğe bağlı, dosya başına sıfır veya daha fazla] Bu web sitesinin site haritasının konumu. Tam bir URL olmalıdır; Google, http/https/www.www olmayan alternatifleri varsaymaz veya kontrol etmez. Site Haritaları, Google'a tarayabileceği veya tarayamayacağı içeriğe karşılık hangi içeriği taraması gerektiğinibildirmek için iyi bir yoldur. Site haritaları hakkında daha fazla bilgi edinin. Örnek:

  Site haritası: https://example.com/sitemap.xml
  Site haritası: http://www.example.com/sitemap.xml

Bir başka örnek dosya

# Googlebot'u example.com/directory1/... ve example.com/directory2/... dizinlerinde
# engelleyin ancak directory2/subdirectory1/... dizinine erişimine izin verin
# Sitedeki diğer tüm dizinlere varsayılan olarak izin verilir.
User-agent: googlebot
Disallow: /directory1/
Disallow: /directory2/
Allow: /directory2/subdirectory1/

# Sitenin tamamını anothercrawler adlı başka bir tarayıcının erişimine karşı engelleyin.
User-agent: anothercrawler
Disallow: /

Tam robots.txt söz dizimi

Yararlı robots.txt kuralları