Büyük bir e-ticaret sitesinde filtre sonucu oluşan binlerce düşük değerli URL'yi sitemap'e eklemiyoruz ama bazıları hâlâ iç linkler üzerinden keşfedilip indeksleniyor. Crawl budget'ı korumak için noindex mi, yoksa robots.txt ile engellemek mi daha doğru olur?
yorum Yap