Robots.txt dosyası nedir?
Robots.txt dosyası, web sitelerinin kök dizininde bulunan ve web tarayıcılarına (özellikle arama motoru botlarına) sitenin hangi bölümlerinin taranıp taranmayacağına dair talimatlar veren bir metin dosyasıdır. Bu dosya, web sitesinin sahibinin belirli sayfaların veya dizinlerin arama motorları tarafından taranmasını engellemesine veya sınırlandırmasına olanak tanır.
Robots.txt dosyasının temel amacı, arama motorlarının web sitenizi nasıl tarayacağını ve dizine ekleyeceğini kontrol etmektir. Ancak, bu dosyanın kullanımı tamamen öneri niteliğindedir; yani, iyi niyetli arama motorları bu talimatlara uyar, ancak kötü niyetli botlar bu kurallara uymayabilir.