Robots.txt tarafından engellendi sorunu Google Webmaster Tools üzerinde karşımıza çıkan bir sorundur. Ve çözümü aslında oldukça basittir. Bu sorunun çözümüne geçmeden önce sizlere bu sorunun ne anlama geldiğinden bahsetmek istiyorum.

Robots.txt Tarafından Engellendi Sorunu

Robots.txt, bir web sitesinin kök dizininde bulunan bir dosyadır ve arama motoru botlarının (örneğin, Googlebot gibi) siteyi taramasını yönlendirir. Bu dosya, hangi sayfaların taranabileceğini ve hangilerinin taranamayacağını belirler. "Robots.txt tarafından engellendi" hatası, arama motoru botlarının belirli bir web sayfasını veya siteyi tarayamaması anlamına gelir.

Neden Robots.txt Hatası Alırız?

Robots.txt tarafından engellendi sorunu hatasını neden alıyoruz? Genel olarak karşımıza çıkan bu sorunun temel nedenlerini anlamaya çalışın.

1. Hatalı yapılandırılmış robots.txt dosyası: Web sitesi yöneticisi yanlışlıkla tüm sitenin taranmasını engelleyebilir veya belirli sayfaların veya klasörlerin taranmasını önleyebilir.
2. İçerik yönlendirmesi veya yönlendirme sorunları: Web sitesi yönlendirme kuralları veya içerik yönlendirme politikaları, arama motoru botlarının sayfaları doğru şekilde taramasını engelleyebilir.
3. Teknik sorunlar: Sunucu yanıtları, botların sayfaları doğru şekilde tarayamamasına neden olabilir. Örneğin, sunucu aşırı yüklenmiş olabilir veya yanıt süresi çok uzun olabilir.
4. Hatalı meta etiketleri: Bazı web sayfaları, meta etiketleri aracılığıyla arama motorlarına belirli sayfaların taranmaması gerektiğini belirtebilir. Ancak, bu etiketler yanlışlıkla veya yanlış bir şekilde yapılandırılmış olabilir.

Bu tür bir hatayla karşılaşan web sitesi sahipleri genellikle robots.txt dosyasını ve web sitesinin diğer yapılandırma ayarlarını kontrol ederek sorunu gidermeye çalışır. Arama motorları genellikle web sitesinin robots.txt dosyasını düzenli olarak kontrol eder ve sitenin daha doğru bir şekilde dizinlenmesini sağlamak için belirtilen talimatlara uygun olarak davranır.

Robots.txt Tarafından Engellendi Sorunu Çözümü

Kullanmış olduğunuz seo eklentileri bu hatayı otomatik olarak gerçekleştirebilir. Genellikle Yoast SEO eklentisi kullananlar bu sorun ile karşılaşabiliyor. Bu hatayı genel olarak feed, amp gibi ekstra uzantıların indexlenmesinin, taranmasının kapalı olmasından kaynaklanmaktadır. Eğer ALL In One SEO eklentisi kullanıyorsanız sol menüden ALL in One SEO > Araçlar > robots.txt Düzenleyici bölümünden yapabilirsiniz. Aşağıdaki örnek çalışmayı web sitenize uyarlayabilirsiniz.

Robots.txt Tarafından Engellendi SEO'ya Etkisi Var mı?

Bu uyarı her zaman bir hata mesajı olarak kabul edilmemelidir. Google, taranamayan URL'lerinizi sadece Robots.txt komutları nedeniyle belirtir. Burada yapılması gereken tek şey, Robots.txt engellemelerinden etkilenen URL'leriniz arasında önemli olan bir URL'in olup olmadığını kontrol etmektir. Çünkü hatalı yazılmış Disallow komutları sıkça karşılaşılan bir sorundur ve bu nedenle önemli URL'lerin taranamaması mümkündür. Değişikliklerinizi yaptıktan sonra, URL'lerinizin yeniden değerlendirilmesi için "Düzeltmeyi Doğrula" butonuyla Google'a bir inceleme talebi gönderebilirsiniz. Eğer feed, amp vb. uzantıların indexlenmesini istemiyorsanız bu uyarıyı o linklerde aldıysanız görmemezlikten gelebilirsiniz. SEO'yu olumsuz etkileyecek bir uyarı değildir.