Robots.txt Nedir?

Robots.txt, web sitenizin sayfalarının nasıl taranması gerektiğini arama motorlarına açıklamaya yarayan bir metin dosyasıdır. Sitenizin kök dizininde yer alır ve Akıllı Ticaret yönetim panelinden yönetilebilir.

Temel olarak, arama motorlarının ya da tarama yapan botların sitenizde hangi alanları taramaması gerektiği bilgisini girmeniz özelleştirmenin bir parçasıdır (disallow:).

Ek olarak, sitenizin sayfalarının ne sıklıkta taranması gerektiği bilgisini de paylaşabilirsiniz (crawl-delay:).

Ayrıca site haritası paylaşımı da yapmanız mümkün. Google için site haritasını Search Console üzerinden yüklemeniz daha pratik olacaktır ama diğer arama motorları ve crawler'lar için site haritasını direkt robots.txt üzerinden paylaşmak pratiklik sağlayacaktır.

Temel olarak Akıllı Ticaret'te herhangi bir robots.txt işlemi yapmanıza gerek yok ama site haritalarını aşağıdaki örnekteki gibi yüklemenizde fayda var: