Crawl budget, arama motorunun belirli süre içinde bir site için ayırdığı tarama kapasitesidir. Bu yalnızca URL sayısı değil, crawler'ın siteye ne kadar sıklıkla ve ne kadar kaynakla geleceğini belirleyen genel sınırdır.
Küçük ve orta ölçekli sitelerin çoğunda gerçek bir darboğaz değildir; indekslenmesi gereken sayfalara yetecek kapasite genelde vardır. Çok büyük kataloglarda, binlerce ürün sayfasında ya da filtre ve parametrelerle çok sayıda düşük değerli URL üreten sitelerde önem kazanır. Hızlı sunucu, temiz iç link yapısı ve ince ya da yinelenen sayfaları doğru biçimde tarama dışına almak, crawl budget'ın gerçekten değerli sayfalara harcanmasını sağlar. Robots.txt, noindex ve canonical burada farklı işler görür; hangisinin kullanılacağı, URL'nin hiç taranmaması mı, indekslenmemesi mi yoksa başka sürümle birleştirilmesi mi gerektiğine bağlıdır.
