Arama motoru botları tarafından taranması ve dizine eklenmesi istenen web sayfalarını bildirmeyi sağlayan komut allow komutu olarak adlandırılır. Web yöneticileri bu komut sayesinde arama motoru botlarına taranması istenen sayfalar ya da klasörler hakkında bilgi vermiş olur.
