Robots.txt, sitenin kök dizininde duran (zeo.org/robots.txt) ve crawler'lara hangi yolları isteyip isteyemeyeceklerini bildiren düz metin dosyasıdır. Allow ve Disallow yönergeleriyle çalışır. Kurallara uyan botlar, başka bir sayfayı çekmeden önce bu dosyayı kontrol eder.
Bu dosya teknik bir erişim engeli değildir; iyi niyetli crawler'lar kurala uyar ama kötü niyetli botu durdurmaz. Ayrıca sayfayı arama sonuçlarından çıkarma aracı da değildir. Bir URL başka sitelerden link alıyorsa, robots.txt ile engellenmiş olsa bile arama motoru URL'nin varlığını bilebilir. "Aramada görünmesin" amacı için noindex etiketi gerekir. Robots.txt'teki küçük hata, örneğin yanlışlıkla tüm siteyi Disallow etmek, crawler'ların büyük bölümlere ya da bütün siteye ulaşmasını sessizce kesebilir. Bu yüzden dosya değişiklikleri yayına alınmadan önce dikkatle test edilmelidir.
