Robots.txt ile Googlebot ve Yapay Zeka Botları Nasıl Yönetilir?
Robots.txt, web sitenizin hangi bölümlerinin otomatik olarak taranabileceğini belirten bir metin dosyasıdır. Googlebot, yapay zeka arama botları ve model eğitimi amacıyla çalışan tarayıcılar için farklı kurallar tanımlayabilirsiniz. Doğru yapılandırma için önce hangi içeriğin hangi amaçla erişilebilir olmasını istediğinizi belirlemeniz gerekir.
Robots.txt, Noindex ve Erişim Koruması Arasındaki Fark
Robots.txt kuralları, bu kurallara uyan botların URL'ye istek gönderip göndermeyeceğini yönetir. Sayfanın arama sonuçlarına alınmaması için kullanılan noindex ise farklı bir talimattır. Google'ın sayfadaki noindex etiketini görebilmesi için sayfayı tarayabilmesi gerekir. Aynı URL'yi robots.txt ile kapatıp noindex eklemek, beklediğiniz sonucu vermeyebilir.
| İhtiyaç | Değerlendirilecek yöntem | Dikkat edilmesi gereken nokta |
|---|---|---|
| Belirli URL'lerin otomatik taranmasını sınırlandırmak | Robots.txt kuralları | İndeks dışı kalmayı garanti etmez. |
| Erişilebilir bir sayfanın indekslenmesini istememek | Noindex etiketi veya uygun HTTP başlığı | Botun talimatı okuyabilmesi gerekir. |
| Özel bir dosyaya herkesin erişmesini önlemek | Kimlik doğrulama ve erişim denetimi | Robots.txt bir güvenlik duvarı değildir. |
Müşteri belgeleri, kişisel bilgiler veya özel raporlar için robots.txt yeterli koruma sağlamaz. Ayrıca dosyada yazılan yollar herkese açıktır. Gizli bir klasörün adını burada belirtmek, o klasörü gizlemez.
Googlebot ile Yapay Zeka Botları Aynı İşi Yapmaz
Bir botun yapay zeka sağlayıcısına ait olması, bütün ziyaretlerinin aynı amaca hizmet ettiği anlamına gelmez. Arama sonucu üretmek için içerik keşfetme, model eğitimi ve kullanıcının isteği üzerine bir sayfayı açma ayrı işlemlerdir. Bu amaçları tek bir engelleme kararıyla yönetmek, istemediğiniz görünürlük kayıplarına yol açabilir.
- Googlebot: Google Arama için sayfaları tarar. Erişimini kapatmak arama görünürlüğünü etkileyebilir.
- Google-Extended: Belirli Gemini eğitim ve grounding kullanımlarını yöneten ayrı bir ürün belirtecidir. Google Arama'ya dahil olmayı veya sıralamayı yöneten bir belirteç değildir.
- OAI-SearchBot: ChatGPT'nin arama özelliklerinde web sitelerinin bulunması için kullanılır.
- GPTBot: OpenAI'ın temel modellerinin eğitiminde kullanılabilecek içerikleri tarar. Arama botundan ayrı yönetilebilir.
- ChatGPT-User: Kullanıcının başlattığı bazı sayfa ziyaretlerinde kullanılır. Otomatik web taraması değildir; robots.txt kuralları bu isteklere her durumda uygulanmayabilir.
Botların adları ve kapsamları zamanla değişebilir. İzin listesini oluştururken yalnız internette dolaşan hazır bot listelerine güvenmeyin; sağlayıcının güncel tanımını kontrol edin.

Tarama İzni ile Arama Sunumunu Ayrı Yönetin
İndeksleme tercihini HTML'de robots meta etiketiyle, PDF gibi HTML olmayan dosyalarda ise X-Robots-Tag HTTP başlığıyla bildirebilirsiniz. Sayfanın yalnız belirli bir metin bölümünün arama özeti olarak kullanılmasını istemiyorsanız uygun span, div veya section öğesinde data-nosnippet değerlendirilebilir. Bu işlem sayfayı indeks dışına çıkarmaz; o alandaki yapılandırılmış verinin kullanımını da kendiliğinden engellemez.
Google Arama'nın üretken yapay zeka özelliklerine katılım için Search Console'da ayrı bir kontrol bulunur. AI Overviews, AI Mode ve ilgili Discover özelliklerini kapsayan bu ayar, Google-Extended ile bildirilen model eğitimi tercihiyle aynı değildir. Ağustos 2026 sonunda dünya genelinde kullanıma açılan kontrolü doğru mülkün ayarlarından inceleyin; varsa üst mülkten devralınan tercihi de kontrol edin. Burada hariç tutma seçmek, sitenin Google Arama'nın diğer bölümlerindeki sıralama veya dahil edilme tercihini değiştiren bir sinyal değildir.
Ortak Yapay Zeka Eğitim Kontrolünde Neler Planlanıyor?
Google, 30 Ekim 2026'da birden fazla sağlayıcı için ortak eğitim tercihi bildirmeyi amaçlayan robots.txt tabanlı bir kontrolü destekleme planını açıkladı. Duyuruda, IETF'nin AIPREF çalışmasına dayanan bu yaklaşım için 2027 hedefleniyor. Bu açıklama, bütün sağlayıcıların bugün aynı yeni talimatı uyguladığı anlamına gelmez.
Mevcut Google-Extended gibi sağlayıcıya özgü kontrollerin devam etmesi planlanıyor. Ortak sinyalin, açık bir Google-Extended kuralı bulunmadığındaki etkisi de duyurunun parçası. Uygulama ayrıntıları kesinleşmeden internette gördüğünüz varsayımsal bir “ortak bot” kuralını canlı dosyanıza eklemeyin. Kullanımdaki kontrolleri ve açıklanmış gelecek planını ayrı kaydedin.
Robots.txt Dosyası Nerede Bulunur?
Dosya ilgili sitenin kök dizininde, /robots.txt yolunda bulunur. Ana alan adı ile alt alan adları ve farklı protokoller aynı kapsam olarak düşünülmemelidir. Örneğin kurumsal site ile blog ayrı alt alan adlarında çalışıyorsa her birinin erişim kuralları ayrıca kontrol edilmelidir.
İlk adımda çalışan dosyanın bir kopyasını saklayın. Ardından içerik yönetim sistemi, SEO eklentisi ve sunucudaki fiziksel dosyadan hangisinin gerçek yanıtı ürettiğini belirleyin. Yanlış dosyayı düzenlemek, panelde değişiklik yaptığınız halde botların eski kuralları görmesine neden olabilir.

Arama Erişimini Koruyup Eğitim Botunu Sınırlandırma Örneği
Aşağıdaki örnek, arama erişimini sürdürmek ve GPTBot taramasını kapatmak isteyen varsayımsal bir site içindir. Her siteye doğrudan uygulanacak hazır bir ayar değildir.
User-agent: *
Disallow: /site-ici-arama/
User-agent: OAI-SearchBot
Disallow: /site-ici-arama/
User-agent: GPTBot
Disallow: / Bu yapıda arama botu ile eğitim botuna farklı tercihler bildirilir. Örnekteki site içi arama yolu sizin sisteminizde farklı olabilir; mevcut olmayan bir yolu kopyalamanın yararı yoktur. Ayrıca bu dosya, erişime izin verilen içeriğin mutlaka kaynak gösterileceği veya sıralama kazanacağı anlamına gelmez.
Genel Kuralların Özel Bot Gruplarına Otomatik Eklendiğini Varsaymayın
Google, kendisiyle eşleşen en özel bot grubunu dikkate alır; genel User-agent: * grubu ile özel grubu otomatik olarak birleştirmez. Özel bir grup eklediğinizde, o bot için gerekli kısıtların ilgili grupta da yer alıp almadığını inceleyin. Diğer sağlayıcıların yorumlama biçimleri için kendi belgelerini esas alın.
Benzer şekilde Disallow: / bütün yolu kapatan güçlü bir kuraldır. Test ortamından canlıya taşınan böyle bir satır, önemli sayfaların taranmasını durdurabilir. Tek bir dizini sınırlandırmak istiyorsanız bütün siteyi kapsayan kural yazmayın.
Dosya Doğru Olsa da Bot Neden Erişemeyebilir?
Robots.txt yalnız bir kontrol katmanıdır. CDN, güvenlik duvarı, hız sınırı veya tarayıcı doğrulaması aynı isteği ayrıca engelleyebilir. Normal tarayıcıda açılan bir sayfa, bot için CAPTCHA veya 403 yanıtı döndürüyor olabilir. İzin vermek istediğiniz botun hem robots.txt kurallarını hem gerçek HTTP yanıtını kontrol edin.
User-agent alanına Googlebot yazılarak gönderilen bir test isteği, gerçek Googlebot erişiminin kanıtı değildir. Doğrulama için sağlayıcının yayımladığı IP bilgileri ya da uygun ileri ve ters DNS kontrolü kullanılmalıdır. Güvenlik kuralını yalnız bot adına göre kaldırmak, taklit isteklere de erişim verebilir.

Değişiklik Sonrası Uygulanacak Kontroller
- Canlı
/robots.txtyanıtını açın; dosyanın HTML hata sayfası yerine okunabilir metin döndürdüğünü kontrol edin. - Ana sayfa, hizmet, kategori, ürün ve blogdan temsili URL'ler belirleyin. Her biri için beklediğiniz tarama kararını yazın.
- Önemli sayfaların ihtiyaç duyduğu CSS, JavaScript ve görsellerin yanlışlıkla kapatılmadığını inceleyin.
- Search Console'da seçilen URL'lerin tarama ve indeksleme durumunu ayrı değerlendirin.
- CDN ve sunucu kayıtlarında doğrulanmış botların karşılaştığı yanıt kodlarını izleyin.
- Değişiklik tarihini ve önceki dosyayı saklayın. Botların önbellek yenilemesi nedeniyle sonucun her sistemde aynı anda görülmesini beklemeyin.
Kontrol listenize yalnız izin verilen bir URL eklemeyin. Engelli kalması gereken bir yolun da kapalı olduğunu doğrulayın. Böylece yapılan düzenlemenin hem görünürlük hedefini hem tarama sınırlarını koruyup korumadığını ölçebilirsiniz.

Yorum Yazın