Googlebot, Google'ın sayfaları linkleri takip ederek keşfeden, içeriklerini çeken ve bulduklarını Google indeksine taşıyan web crawler'ıdır. Googlebot bir sayfayı hiç ziyaret etmezse, o sayfa ne kadar iyi optimize edilmiş olursa olsun arama sonuçlarında görünme şansı olmaz.
Tek bir Googlebot yoktur: Google desktop ve mobile için ayrı crawler'lar çalıştırır, mobile-first indexing nedeniyle sıralama açısından artık en çok önem taşıyan mobile sürümdür; görseller, videolar, reklamlar ve başka içerik türleri için özel botlar da vardır. Googlebot robots.txt yönergelerine uyar, meta robots etiketlerini okur ve JavaScript'i gerçek bir browser'a benzer biçimde çalıştırarak sayfaları render eder, ama bu render adımı ek maliyet getirir ve JavaScript ağırlıklı sitelerde ilk taramanın gerisinden gelebilir. Googlebot'un gerçekte hangi sayfalara, ne sıklıkla gittiğini ve hata alıp almadığını gösteren sunucu logları, bir sitenin gerçekte nasıl tarandığını dolaylı olarak tahmin etmek yerine görmenin en doğrudan yollarından biridir.
