Robots.txt dosyasındaki Disallow yönergesi, crawler'lara hangi sayfaları ya da klasörleri hiç istemeleri gerekmediğini söyler. Disallow: /admin/ gibi bir satır, kurallara uyan botlara o yolun altındaki her şeyi atlamalarını söyler, bu da gerçekten önemli sayfalar için tarama bütçesini serbest bırakır.
Disallow taramayı engeller, indekslemeyi değil, bu da sıklıkla kafa karıştıran bir ayrımdır: engellenmiş bir sayfa, başka siteler ona link veriyorsa, genelde açıklamasız biçimde arama sonuçlarında hâlâ görünebilir, çünkü engel yalnızca crawler'ın sayfayı çekmesini durdurur, URL'nin var olduğunu bilmesini değil. Bir sayfayı arama sonuçlarından tamamen uzak tutmak için bunun yerine noindex etiketi gerekir, bu da crawler'ın etiketi gerçekten görebilmesi için sayfanın taranabilir olmasını gerektirir. Tipik Disallow hedefleri arasında yönetim alanları, iç arama sonucu sayfaları, neredeyse yinelenen içerik yaratan filtrelenmiş ya da faceted URL'ler ve hiç bulunmaması gereken staging ortamları yer alır.
