A/B testi, trafiği aynı sayfanın ya da akışın iki sürümü arasında bölerek, genelde bir kontrol grubu ve bir varyant, hangisinin gerçekten daha iyi performans gösterdiğini tahmin etmeden ölçmeyi sağlar. Ziyaretçiler rastgele bir sürüme atanır, test de bir haftalık şansı trend gibi okumak yerine sonuca güvenilecek kadar trafik birikene kadar sürer.
Web sitelerinde ve mobil uygulamalarda ekipler genelde başlıkları, çağrı butonlarını, sayfa düzenlerini ve ödeme adımlarını test eder, ardından dönüşüm oranını, tıklama oranını ya da sayfanın görevine bağlı başka bir eylemi karşılaştırır. Bir test aynı zamanda teşhis de koyabilir: yeniden tasarlanan bir sayfa eskisinden daha kötü performans gösteriyorsa, bu fark bir tahmin değil, araştırılmaya değer somut bir teknik ya da kullanılabilirlik sorununa işaret eder. En bilinen A/B testi araçları arasında Google Website Optimizer, Visual Website Optimizer ve Optimizely Vertster sayılabilir, bu alan zamanla daha yüksek trafik hacimleri için tasarlanmış özel deney platformlarını da kapsayacak şekilde genişledi. Hangi araç kullanılırsa kullanılsın mantık aynı kalır: gerçekte neyin sayıyı değiştirdiğini bilmek için tek seferde tek bir değişken değiştirilir.
