Robots.txt Nedir?
Robots.txt, arama motoru örümceklerine sitenin hangi bölümlerine izin verildiğini veya yasaklandığını söyleyen metin dosyasıdır. Kök dizinde (örn. site.com/robots.txt) bulunur. Bu araç basit kurallarla hazır içerik üretir; özel path'ler için metni düzenleyebilirsiniz.