A/B Testi Tasarımı ve Analizi

Test sonucuna güvenebilmek için tasarım kararlarını veriyi görmeden önce alıyoruz.

Örneklem büyüklüğünü, tespit etmeye değer minimum etkiyi, randomizasyon birimini ve karar kuralını ilk ziyaretçi testi görmeden belirleyip kayda geçiriyoruz. Test yayına girdikten sonra gösterge panelindeki ilk iyi rakamda durmuyoruz. Önceden belirlediğimiz noktaya kadar devam ediyoruz, çünkü erken bakışlar yazı tura atışından sahte bir kazanan çıkarabiliyor. Aynı anda tek bir deney yürüten ve istatistiğin, sitenin neresinde olursa olsun doğru yapılmasını isteyen ekipler için uygun.

Tasarım kararları sonuç görüldükten sonra değiştirilmediği için dayanağı açık olan tek bir test sonucu.

Örneklem büyüklüğünü, tespit edilebilir minimum etkiyi ve kilitlenmiş bir karar kuralını gösteren bir test tasarımı çalışma sayfası

Birlikte çalıştığımız 500'den fazla markadan birkaçı

Tüm referansları gör
  • MediaMarkt
  • Enerjisa
  • Apsiyon
  • Obilet
  • Halk Yatırım
  • Lay's

Çalışma nasıl yürüyor

Testi baştan tasarlıyor ve kararı önceden yazdığımız kurala göre veriyoruz

Bu çalışmanın en kritik kararlarını test başlamadan alıyoruz. Tasarım doğruysa analiz hangi sonucu nasıl okuyacağımızı açıkça gösteriyor. Tasarımda boşluk kaldığında ise sonradan yapılan daha ayrıntılı analiz sonucu güvenilir hâle getirmiyor.

Çalışma ilkelerimiz

  • Örneklem büyüklüğünü ve minimum etkiyi test başlamadan önce belirliyoruz
  • Randomizasyon birimi, insanların sayfayı gerçekte nasıl kullandığıyla örtüşüyor
  • Önceden yazdığımız tek kural, testin ne zaman duracağına karar veriyor
  • Sonucu güven aralığıyla raporluyoruz

  1. Tespit etmeye değer minimum etkiyi belirliyoruz

    Birincil metrikte işletme için gerçekten fark yaratacak en küçük değişikliği belirliyoruz. İstatistiksel olarak tespit edilebilecek en küçük rakamı değil. Düşük değerli trafikte kesirli bir artışın peşine düşmek yalnızca test kapasitesini harcıyor.

    Üzerinde anlaştığımız minimum tespit edilebilir etki ve bunun işletme için neden önemli olduğunun yazılı gerekçesi.

    Yapay zeka desteği
    Geçmiş referans verisinden bir minimum etki çalışma sayfası taslağı çıkarıyor.
    İnsan onayı
    Örneklem büyüklüğü hesaplanmadan önce bu eşikte CRO ekibimizle birlikte anlaşıyoruz.
    Sorumlular
    CRO ekibimiz + sizin tarafınızdaki karar verici

  2. Örneklem büyüklüğünü ve süreyi yayından önce hesaplıyoruz

    Anlaştığımız minimum etkiyi, referans dönüşüm oranını, istenen anlamlılık ve gücü kullanarak gereken örneklem büyüklüğünü hesaplıyoruz. Sonrasında bunu mevcut trafiğe göre beklenen bir çalışma süresine çeviriyoruz.

    Anlaşılan etki, referans oran, anlamlılık ve güç üzerinden hesaplanan örneklem büyüklüğü ve beklenen test süresi.

    Yapay zeka desteği
    Örneklem büyüklüğü hesabını çalıştırıyor, ortaya çıkan süre gerçekçi görünmüyorsa işaretliyor.
    İnsan onayı
    Kurulum başlamadan önce hesapladığımız süreyi deney ekibimiz onaylıyor.
    Sorumlular
    Deney ekibimiz + analitik ekibimiz

  3. Gerçek davranışa uyan bir randomizasyon birimi seçiyoruz

    Ziyaretçilerin, oturumların ya da giriş yapmış kullanıcıların atama birimi olup olmayacağına, insanların sayfada nasıl hareket ettiğine bakarak karar veriyoruz. Bunu yanlış yaparsanız aynı kişi her iki varyanta da düşebiliyor.

    Seçilen randomizasyon birimi ve bu birimin davranışsal gerekçesi, kayıt altında.

    Yapay zeka desteği
    Önerilen randomizasyon birimi ile bilinen kullanıcı davranışı arasındaki uyumsuzluğu işaretliyor.
    İnsan onayı
    Yapılandırma başlamadan önce randomizasyon birimini CRO ekibimiz onaylıyor.
    Sorumlular
    CRO ekibimiz + sizin geliştirme ekibiniz

  4. Karar kuralını önceden yazıyoruz

    Yayından önce hangi metrikte, hangi eşikte, hangi sonucun yayınla, yinele ya da durdur kararını tetikleyeceğini tam olarak yazıyoruz. Böylece kimse hangi kural istediği sonucu destekliyorsa onu sonradan seçemiyor.

    Yayınla, yinele ya da durdur kararını tetikleyecek metriği, eşiği ve yönü adıyla yazan onaylı karar kuralı.

    Yapay zeka desteği
    Anlaştığımız metrik ve eşikten karar kuralı belgesinin taslağını hazırlıyor.
    İnsan onayı
    Örneklem toplanmaya başlamadan önce karar kuralını CRO ekibimizle birlikte siz onaylıyorsunuz.
    Sorumlular
    CRO ekibimiz + sizin tarafınızdaki karar verici

  5. Belirlediğimiz örneklem noktasına kadar çalıştırıyoruz

    Analize geçmeden önce testin hesapladığımız örneklem büyüklüğüne ya da süresine ulaşmasını bekliyoruz. Gösterge paneli iyi göründüğü an durdurma dürtüsüne direniyoruz. Erken durdurmak yanlış pozitif oranını artırıyor.

    Testin, kimse sonuca bakmadan önce planlanan örneklem büyüklüğüne ya da süresine ulaştığını gösteren çalışma kaydı.

    Yapay zeka desteği
    İlerlemeyi belirlediğimiz örneklem büyüklüğüne göre izliyor, her erken durdurma talebini incelemeye işaretliyor.
    İnsan onayı
    Belirlediğimiz durma noktasından her sapmayı, gerekçesi kayda geçirilerek deney ekibimiz onaylıyor.
    Sorumlular
    Deney ekibimiz + analitik ekibimiz

  6. Önceden yazdığımız tek kurala göre analiz ediyoruz

    Sonucu güven aralığıyla birlikte ve test başlamadan önce yazdığımız karar kuralına göre raporluyoruz. İkincil bir metrik önceden yazılmış bir karar olmadan hareket ettiyse bunu ayrıca belirtiyoruz.

    Sonucu ve güven aralığını önceden yazılmış kurala göre veren, ikincil metrik hareketlerini ayrı etiketleyen analiz raporu.

    Yapay zeka desteği
    Önceden yazılmış kurala göre analiz raporunu hazırlıyor, ikincil metrik hareketini ayrı etiketliyor.
    İnsan onayı
    Raporu CRO ekibimiz onaylıyor, yayına alma kararını siz veriyorsunuz.
    Sorumlular
    CRO ekibimiz + sizin tarafınızdaki karar verici

Ekibinize ne teslim ediliyor

Sonucu savunulabilir kılan belgeler

Bir testin güvenilirliği, verinin sonradan ne gösterdiği kadar yayından önce neyin yazıldığına da dayanıyor.

  • Tasarım çalışma sayfası

    Test yayına girmeden önce hesapladığımız minimum etki, referans oran, örneklem büyüklüğü ve beklenen süre.

    Kabul koşulu

    Minimum tespit edilebilir etki, referans oran, örneklem büyüklüğü ve süre, test yayına girmeden önce eksiksiz doldurulmuş ve tarihlenmiş oluyor.

    Ritim: Her testten önce

  • Randomizasyon ve atama kaydı

    Seçtiğimiz randomizasyon birimi ve gerekçesi. Ayrıca atamanın oturumlar boyunca sabit kaldığına dair sürekli kontrol.

    Kabul koşulu

    Atama birimi gerekçesiyle birlikte yazılıyor ve örneklem oranı kontrolü atamanın test boyunca sabit kaldığını gösteriyor.

    Ritim: Yayından önce

  • Önceden yazılmış karar kuralı

    Yayınla, yinele ya da durdur kararını verecek metrik, eşik ve yön. Örneklem toplanmadan önce yazılıp onaylanıyor.

    Kabul koşulu

    Metrik, eşik ve yön, ilk ziyaretçi teste dahil olmadan önce yazılıp onaylanıyor.

    Ritim: Yayından önce kilitlenir

  • Güven aralıklı analiz raporu

    Önceden yazılmış kurala göre raporlanan sonuç, güven aralığı ve ayrı etiketlenmiş ikincil metrik hareketleri.

    Kabul koşulu

    Ana karar önceden yazılmış kurala dayanıyor, güven aralığı taşıyor ve ikincil metrik hareketleri ayrı bir bölümde duruyor.

    Ritim: Örneklem büyüklüğüne ulaşınca

Çalışma başlamadan önce

Bu çalışmanın doğru adım olduğu durumlar

Birçok A/B testindeki sorun, veri toplanmadan önce verilen eksik tasarım kararlarında başlıyor. Bir test haftalarca çalışıp yine de net bir şey söylemeyebilir. Bunun nedeni fikrin kötü olması kadar, başlamadan önce örneklem büyüklüğünün belirlenmemesi de olabilir. Gösterge paneli her gün kontrol edilip ilk yeşil rakamda karar verildiğinde ya da randomizasyon gerçek gezinme davranışıyla örtüşmediğinde sonuç daha baştan zayıflıyor. Sonradan yapılan analiz bu tasarım açıklarını kapatamıyor.

Şu durumlarda iyi bir seçim

  • Sayfanız hesaplanan örneklem büyüklüğüne makul sürede ulaşabiliyor, bu yüzden test değişikliğin değerini yitirmeden tamamlanıyor.
  • Örneklem büyüklüğü, test süresi ve durma kuralı yayından önce kesinleşiyor, çünkü test başladıktan sonra bunları değiştirmek tasarımı zayıflatıyor.
  • Varyantı yayına alma kararı önceden belirlenen noktaya kadar açık kalıyor, böylece gösterge panelindeki erken hareket sonucu belirlemiyor.
  • Gösterge paneli anlamlı ve yeşil bir rakam gösterdiği an, ne zaman olursa olsun test karara bağlanıyor.
  • Test yayına girmeden önce kimse minimum etki ya da örneklem büyüklüğü hesaplamamış.
  • Ziyaretçiler her sayfa görüntülemesinde yeniden randomize ediliyor, oturum boyunca aynı varyantta kalmıyor.
  • Beş metrik birden kontrol ediliyor ve hangisi yeşile döndüyse sonuç o oluyor.

Şu durumlarda başka bir çalışma daha doğru

  • Trafik, değişikliğin değerini koruduğu sürede hesaplanan örnekleme yetmiyor, bu yüzden farklı bir araştırma ya da kontrollü yayın gerekiyor.
  • Ekip sonucu her gün panele bakarak vermek istiyor, ama bu test kayıtlı durma kuralına ulaşılana kadar okunmuyor.
  • Aynı sayfada birkaç değişiklik birlikte test ediliyor, fakat hangisinin varyant sonucunu etkilediğini ayıracak bir etkileşim planı bulunmuyor.

Her kanalın kendi sorumlusu var

Zeo'da Ücretli Arama, Sosyal Medya Reklamları, CRO ve Programatik alanlarının her birini adı belli bir sorumlu yürütüyor. Aşağıdaki danışmanlar bu sayfanın konu aldığı kanala göre eşleşiyor, böylece gerçekte kiminle çalışacağınızı görebilirsiniz.

Kullandığımız araçlar

Bu işin arkasındaki araçlar

  • VWO

    testi sıralı modelle yürütüyor, ara kontrollerin sonucu geçersiz kılmasını önlüyor

  • Google Analytics

    hesabın veri kapsamını kontrol ediyor, randomizasyon birimini buna göre belirliyor

Tek bir ziyaretçi görmeden önce doğru tasarlayalım

Sonucuna gerçekten güvenebileceğiniz bir test kuralım

Herhangi bir şey yayına girmeden önce örneklem büyüklüğünü, randomizasyon birimini ve karar kuralını sizinle birlikte belirleyebiliriz. Böylece testin sonunda gördüğümüz sonucu doğru yorumlayabiliriz.
Test tasarımınızı konuşalım

En sık duyduğumuz sorular

Bu, kampanya açılış sayfası deneyleri yönteminden farklı mı?

Aynı istatistiksel disiplini paylaşıyorlar ama bu yöntem sitenin her yerinde uygulanabiliyor. Fiyatlandırma, navigasyon, onboarding gibi. Canlı kampanya trafiği taşıyan bir sayfayla sınırlı değil. Açılış sayfası yöntemi ise bunun üstüne kampanya sürekliliği kontrollerini ekliyor.

Hesaplanan süreden daha hızlı yayına girmemiz gerekirse ne olur?

Gerçekçi üç seçenek var: daha büyük bir minimum etkiyi kabul etmek, test edecek daha fazla trafik bulmak ya da tam bir test yerine kontrollü ve aşamalı bir yayın gibi daha küçük bir yöntem kullanmak. Süreyi sessizce kısaltıp sonucu aynıymış gibi sunmuyoruz.

Açık bir kazanan gibi görünüyorsa testi erken durdurabilir miyiz?

Yalnızca bu durdurma koşulu, örneğin bir koruma metriğinin ihlali, önceden yazdığımız kuralın bir parçasıysa. Gösterge paneli iyi göründüğü için erken durmak yanlış pozitif ihtimalini artırıyor. Bu yüzden deney ekibimizin onayını gerektiriyor ve rutin değil, bir sapma olarak kaydediliyor.

Sonuç kesin çıkmazsa ne oluyor?

Sonucu kesin değil diye raporluyor ve geçerli bir sonuç olarak kayda geçiriyoruz. Genellikle sorunun yanıtlanabilmesi için daha fazla trafiğe, daha uzun süreye ya da daha büyük bir müdahaleye ihtiyaç olduğunu gösteriyor.