Web siteniz için Google, Bing ve Yandex standartlarına uygun robots.txt dosyası ve site haritası şablonu üretin.
User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /private/
Disallow: /hesap/
Disallow: /mesajlar/
Sitemap: https://webzen.com.tr/sitemap.xml<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://webzen.com.tr/</loc>
<changefreq>daily</changefreq>
<priority>1.0</priority>
</url>
<url>
<loc>https://webzen.com.tr/araclar</loc>
<changefreq>weekly</changefreq>
<priority>0.8</priority>
</url>
<url>
<loc>https://webzen.com.tr/pazar</loc>
<changefreq>hourly</changefreq>
<priority>0.9</priority>
</url>
</urlset>Web sitenizin ana adresini ve site haritası (sitemap.xml) bağlantınızı girin.
Googlebot, Bingbot, YandexBot gibi arama motoru örümceklerine izin veya kısıtlama atayın.
Oluşturulan standart uyumlu robots.txt kodunu sitenizin kök dizinine robots.txt adıyla kaydedin.
Robots.txt, sitenizin kök dizininde bulunan ve arama motoru botlarına (Googlebot vb.) hangi sayfaları tarayıp hangi sayfaları taramaması gerektiğini bildiren metin tabanlı bir standart protokol dosyasıdır.
Robots.txt dosyası web sitenizin ana kök dizininde (public_html veya root dizini) yer almalı ve tarayıcıda "https://siteniz.com/robots.txt" adresinde doğrudan erişilebilir olmalıdır.
Disallow botun sayfayı taramasını engeller ancak sayfa dışarıdan link alıyorsa Google yine de URL'yi indeksleyebilir. Noindex ise sayfanın arama sonuçlarından tamamen çıkarılmasını sağlar.
Googlebot Crawl-delay parametresini dikkate almaz; tarama hızını Google Search Console ayarlarından otomatik optimize eder. Ancak Bingbot ve Yandex Crawl-delay direktifini destekler.
Sunucu yapılandırması, nginx/apache kuralları ve bot optimizasyonu hakkında yardım alın.