Crawling, bir arama motoru botunun bir sitenin sayfalarını keşfetmek ve okumak için kullandığı süreçtir, birinden diğerine linkleri takip ederek, sistematik olarak ve çok daha büyük ölçekte, birinin siteyi gezinerek yapabileceği şeye benzer biçimde. Googlebot en bilinen örnektir, ama sayfaları bu şekilde çekip okuyan herhangi bir otomatik araç, bir SEO denetim aracı, bir uptime izleyicisi, aynı teknik anlamda tarama yapıyordur.
Bir tarama yalnızca bir sayfanın var olduğunu not etmez; içeriği, görselleri ve giden linkleri okur, bu da yeni sayfaların ve yeni linklerin nasıl keşfedildiğidir zaten. Crawling ve indeksleme ilişkili ama farklı adımlardır: bir sayfa indekslenmeden önce taranmalıdır, ama taranmış olmak indekslemeyi garanti etmez, çünkü bir arama motoru bir sayfanın indekse eklenmeye değmediğine yine de karar verebilir. Robots.txt ve meta robots etiketleri, bir sitenin ne kadar taranacağını kontrol etmenin başlıca yollarıdır, bir sayfa taranmışsa ne kadarının indeksleneceğini kontrol eden noindex yönergesinden ayrı olarak.
