Arama indeksi, bir arama motorunun sonuç üretirken başvurduğu devasa sayfa veritabanıdır, crawler'ın taradığı, değerlendirdiği ve saklamaya değer bulduğu her sayfanın koleksiyonu. Sıralama bundan sonraki ayrı adımdır: bir sayfa, herhangi bir sorguda pozisyon için yarışabilmekten önce indekste yer almalıdır.
Taranmış olmak indekse eklenmeyi garanti etmez. Bir arama motoru bir sayfayı tarayıp yine de dışarıda bırakabilir, çünkü içerik fazla zayıf ya da yinelenen bulunmuştur, bir noindex etiketi buna izin vermiyordur ya da sayfa mevcut indeks alanıyla karşılaştırıldığında yeterince değerli görülmüyordur. Robots.txt, bir sayfanın ilk etapta taranıp taranmayacağını etkiler, dolayısıyla indekslemeyi dolaylı biçimde etkiler, ama bir sayfanın gerçekten indekse girmesini ya da girmemesini kontrol eden doğrudan araç noindex'tir. Google Search Console'daki URL Inspection aracı bir sayfanın güncel indeks durumunu ve dışarıda bırakıldıysa nedenini gösterir, bu da olması gerektiği gibi aramada görünmeyen bir sayfayı teşhis etmenin en hızlı yoludur.
