Robots.txt dosyası, web sitenizin arama motorları tarafından nasıl tarandığını kontrol etmenizi sağlar. Bu rehberde, robots.txt dosyasının ne olduğunu, nasıl doğru bir şekilde kullanılacağını ve SEO stratejinize nasıl katkıda bulunabileceğini öğreneceksiniz.
Robots.txt Nedir?
Robots.txt, web sitenizin kök dizininde bulunan basit bir metin dosyasıdır. Bu dosya, arama motoru botlarına hangi sayfaların taranacağını ve hangilerinin taranmaması gerektiğini belirtir.
Aşağıdaki tablo, robots.txt dosyasındaki temel direktiflere hızlı bir bakış sunmaktadır:
| Direktif | Açıklama |
|---|---|
| User-agent | Kuralların hangi tarayıcıya uygulanacağını belirtir. |
| Disallow | Belirtilen URL’lerin taranmasını engeller. |
| Allow | Belirli URL’lerin taranmasına izin verir. |
| Sitemap | XML Site Haritanızın konumunu belirtir. |
Robots.txt Dosyasında Öncelik Sırası
Robots.txt dosyanızı oluştururken, arama motorlarının hangi kuralları uygulayacağı konusunda belirli bir öncelik sırası vardır:
1. En Spesifik Kural
URL’de daha fazla karakterle eşleşen kural uygulanır. Örneğin aşağıdaki durumda, “Allow: /downloads/free/” kuralı daha spesifiktir ve “Disallow: /downloads/” kuralından önce gelir.
User-agent: *Disallow: /downloads/Allow: /downloads/free/
Birden fazla kural eşit derecede spesifik olduğunda, Google en az kısıtlayıcı olanı seçecektir.
SEO’da Robots.txt Neden Önemlidir?
Önemsiz sayfaları robots.txt ile engellemek, Googlebot’un tarama bütçesini değerli sayfalara odaklamasına yardımcı olur. Bu, arama motorlarının hesaplama gücünü de tasarruf etmesini sağlar. Örneğin, büyük bir e-ticaret siteniz varsa ve sonsuz sayıda filtrelenmiş sayfanız varsa, bu sayfalar genellikle benzersiz değer taşımaz ve sunucu kaynaklarınızı boşa harcar.
Doğru optimize edilmiş bir robots.txt dosyası, web sitenizin tarama bütçesini yönetmek için kritik öneme sahiptir. Arama motorlarının değerli sayfalara odaklanmasını sağlayarak gereksiz kaynak israfını önler.Robots.txt ile AI botları ve veri kazıyıcıları engelleyerek sunucu yükünüzü azaltabilir ve kaynaklarınızı koruyabilirsiniz.
Genel olarak, belirli sayfaların neden var olduğunu sorgulamalısınız. Eğer arama motorlarının tarayıp dizine alması gereken bir şey yoksa, o sayfaları engellemelisiniz:
- İç Arama Sayfaları: İç arama URL’lerini engellemek önemlidir.
- Filtreleme veya Sıralama Seçenekleri: URL yapısının bir parçası olmayan filtreleme veya sıralama seçenekleri ile oluşturulan URL’leri engelleyin.
- Özel Bölümler: Giriş sayfaları gibi özel bölümleri engelleyin.
Robots.txt Kullanım Örnekleri
1. İç Arama Sayfalarını Engelleyebilirsiniz
İç arama URL’lerini engellemek için aşağıdaki kuralı kullanabilirsiniz:
User-agent: *Disallow: *s=*
2. PDF URL’lerini Engelleyebilirsiniz
PDF belgelerinin taranmasını istemiyorsanız şu kuralı ekleyin:
User-agent: *Disallow: /*.pdf$
3. Bir Dizini Engelleyebilirsiniz
Bir API uç noktasını engellemek için:
User-agent: *Disallow: /form/
E-ticaret siteleri için kullanıcı hesap dizinlerini engelleyebilirsiniz:
User-agent: *Disallow: /myaccount/Allow: /myaccount/$
Sitemap URL’nizi robots.txt dosyasına eklemek, arama motorlarının sitenizdeki önemli sayfalara kolayca ulaşmasını sağlar:
Sitemap: https://www.example.com/sitemap.xml
Bu Gönderide 0 Yorum Var