User-agent satırı, robots.txt içindeki kuralların hangi belirli crawler için geçerli olduğunu tanımlar: Googlebot, Bingbot ya da belirli bir SEO aracının botu gibi. User-agent: * işareti, kendi özel kural bloğu olmayan bütün botlar için geçerli olan joker tanımdır.
Bu ayrım yalnızca herkese izin verme ya da engelleme için kullanılmaz. Bir site Googlebot'a genel erişim verirken, sunucuyu çok yoğun tarayan belirli bir aracı engelleyebilir; görsel botuna ve ana web crawler'ına farklı kurallar uygulayabilir. Her User-agent satırı yeni bir kural bloğu başlatır, sonraki User-agent satırına kadar o bot için geçerli olur. Bu yapı yanlış kurulduğunda, bir bot için yazılan izin ya da engel joker bloğa sızabilir ve beklenmeyen tarama sorunları yaratabilir. Robots.txt dosyasını yalnızca satır satır değil, blok yapısıyla birlikte kontrol etmek bu yüzden önemlidir.
