Robots.txt dosyasındaki Allow yönergesi, aksi hâlde engellenmiş bir bölümün içinde bile crawler'ların hangi sayfalara ya da klasörlere erişebileceğini söyler. Tipik bir robots.txt, önce tüm bir klasörü engeller, sonra o klasörün içinde yine de taranması gereken belirli bir dosya ya da alt klasör için bir Allow satırı ekler. Örneğin bir site /private/ klasörünü engelleyip /private/basin-kiti/ alt klasörünü Allow ile açık bırakabilir, böylece o tek sayfa erişilebilir kalır.
Yönergeler çakıştığında arama motorları en spesifik eşleşen kuralı uygular, bu yüzden aynı alanı kapsayan daha uzun ve daha spesifik bir Allow yolu, daha kısa bir Disallow yolunu geçersiz kılar. Başka hiçbir yerde engellenmemiş sayfalar için Allow'a ihtiyaç yoktur, tarama zaten varsayılan olarak açıktır; yönerge yalnızca daha geniş bir engelin içinde bir istisna açtığı yerde işe yarar. Çevresindeki Disallow'dan daha az spesifik bir Allow kuralı, sayfaların beklenmedik biçimde taramadan dışlanmasının yaygın bir nedenidir, bu yüzden indekslenmesi gereken bir sayfa görünmüyorsa kontrol edilmesi gereken ilk yerlerden biri budur.
