Web Analytics · Pazarlama Ölçümleme

Incrementality ve Lift Ölçümleme

Holdout, korelasyonun cevaplayamadığı soruyu cevaplar: kanal olmasaydı ne olurdu.

Attribution, gerçekleşmiş dönüşümlerin kredisini kanallar arasında dağıtır. Bir kanal durdurulduğunda ne olacağını göstermez. Bu soruyu kontrollü bir karşılaştırmayla incelemek için holdout, geo split veya harcama değişikliğine dayalı bir testi tasarlayıp yürütürüz.

Ön kaydı, ölçülen lift'i, güven aralığını ve test edilen koşulları birlikte gösteren incrementality sonucu.

Incrementality testini planlaPazarlama Ölçümleme ve Attribution çalışmalarının tümü
Bir Zeo bilim insanının iki özdeş parselden sadece birini sulayarak bir split test çalıştırması

Birlikte çalıştığımız 500'den fazla markadan birkaçı

Tüm referansları gör
  • Hyundai
  • Domino’s
  • Shiftdelete
  • Silverline
  • Hepsipay
  • Desa
  • Yolcu360

Nasıl yürütürüz?

Testin tasarımını, uygulamasını ve koşullarını birlikte doğrularız

Uygun popülasyonu, başarı ölçütünü ve analiz yöntemini test başlamadan önce kayıt altına alırız. Tasarımı önceden kayda alır, holdout veya geo split'i uygular, test koşullarını izler ve lift sonucunu belirsizliğiyle birlikte değerlendiririz.

Çalışma ilkelerimiz

  • Uygulanabilir test tasarımı — Kanalı, mevcut hacmi ve operasyonel kontrol imkânlarını değerlendirerek holdout, geo split veya harcama değişikliğine dayalı tasarımı seçeriz.
  • Önceden tanımlanan popülasyon ve sonuç — Uygun popülasyonu ve başarı ölçütünü test başlamadan önce belirleriz. Böylece sonuçlara bakarak kapsamı sonradan değiştirmeyiz.
  • Contamination takibi — Test ve kontrol gruplarının birbirine karışıp karışmadığını izleriz. Contamination, ölçülen lift'i olduğundan farklı gösterebilir.
  • Lift ile birlikte belirsizlik aralığı — Tek bir kesin rakam vermek yerine lift'i güven aralığıyla raporlarız. Daha dar bir aralık için gereken örneklem büyüklüğü veya süreyi de belirtiriz.

  1. Testi tasarlama

    Test yapısını, uygun popülasyonu ve sonuç metriğini tanımlarız. Ardından gerekli örneklem büyüklüğünü veya süreyi hesaplarız.

    Test tasarım dokümanı

    Yapay zeka desteği
    Farklı test süresi seçenekleri için aday örneklem büyüklüklerini hesaplar.
    İnsan onayı
    Kanal sorumlusu, tasarımın operasyonel olarak uygulanabilir olduğunu onaylar.
    Sorumlular
    Ölçümleme Analisti, Kanal Sorumlusu
    Çizim masasında plan çizen karakter

  2. Holdout veya geo split kurulumu

    Bastırılmış kitle, geo split veya harcama durdurma mekanizmasını kurarız. Test başlamadan önce uygulamanın tasarımla uyumunu doğrularız.

    Uygulama kontrolü

    Yapay zeka desteği
    Holdout kurulumunu kayıtlı test tasarımıyla karşılaştırır.
    İnsan onayı
    Mühendislik lideri, bastırma veya bölünme mekanizmasının doğru çalıştığını onaylar.
    Sorumlular
    Ölçümleme Analisti, Mühendislik Lideri
    Desenli yapı bloklarını üst üste dizen çizim karakter

  3. Test koşullarını izleme

    Test boyunca gruplar arasındaki contamination riskini ve sonucu etkileyebilecek dış koşulları takip ederiz.

    İzleme kaydı

    Yapay zeka desteği
    Test ve kontrol grupları arasındaki örtüşmeleri işaretler.
    İnsan onayı
    Analist, işaretlenen örtüşmenin testi geçersiz kılıp kılmadığına karar verir.
    Sorumlular
    Ölçümleme Analisti
    Takip satırlarıyla dolu bir ekranı izleyen çizim karakter

  4. Lift sonucunu değerlendirme

    Lift'i ve güven aralığını hesaplarız. Sonucun hangi kararı desteklediğini, hangi yorumların ise test kapsamının dışında kaldığını açıklarız.

    Incrementality sonucu

    Yapay zeka desteği
    Ham lift hesabından güven aralığı için taslak oluşturur.
    İnsan onayı
    Kanal sorumlusu, yeni harcama kararından önce aralığı ve test sınırlarını kabul eder.
    Sorumlular
    Ölçümleme Analisti, Kanal Sorumlusu
    Şövale üzerindeki çubuk grafiği anlatan çizim karakter

Test koşullarını sonuçları görmeden belirleriz

Otomasyon her süre seçeneği için testi boyutlandırır, holdout yapılandırmasını yazılı tasarımla karşılaştırır, gruplar arasındaki harcama veya hedef kitle örtüşmesini işaretler ve ham lift'ten güven aralığını çıkarır. Kararlar insanda kalır: tasarımın gerçek operasyona uyup uymadığı, işaretlenen örtüşmenin testi geçersiz kılıp kılmadığı ve aralığın bütçeyi kaydırmaya yetip yetmediği.

Ne teslim ederiz?

Lift sonucunu belirsizliği ve kalite notlarıyla birlikte teslim ederiz

Test sonucu tek bir lift rakamıyla sınırlı kalmaz. Tasarımı, güven aralığını, test edilen koşulları ve contamination bulgularını da içerir.

  • Çalışma dokümanı

    Test tasarım dokümanı

    Sonuçlar oluşmadan önce yazılmış, uygun popülasyonu, başarı metriğini ve analiz yaklaşımını içeren ön kayıtlı tasarım.

    Kabul koşulu

    Holdout yayına girmeden önce tarihlenir ve analiz kuralını önceden adlandırır.

    Ritim: Holdout başlamadan önce tarihlenir

  • Karar notu

    Incrementality sonucu

    Güven aralığıyla birlikte ölçülen lift ve bu sonucun desteklediği karar.

    Kabul koşulu

    Lift, güven aralığı olmadan hiçbir zaman raporlanmaz.

    Ritim: Holdout bittiğinde

  • Test notları

    Contamination ve kalite notları

    Gruplar arası contamination ile dış koşullar için yapılan kontroller ve bunların sonucun yorumuna etkisi.

    Kabul koşulu

    Her kontrol, neyin incelendiğini ve ne bulunduğunu belirtir; hiçbir şey bulmayan kontroller de dahil.

    Ritim: Çalışma boyunca kontrol edilir

Şu olduğunda tamam sayarız: lift güven aralığıyla birlikte raporlandığında, contamination açıkça kontrol edildiğinde ve sonuçsuz bir test temiz bir olumsuz sonuç gibi okunmadığında.

Uyum ve hazırlık

Kanalın gerçek katkısı kontrollü bir karşılaştırma gerektirir

Testin uygulanabilirliği hacim, bütçe esnekliği ve kararın önemine bağlıdır.

Şu durumlarda iyi bir seçim

  • Bir kanalın attribution modelinde ne kadar kredi aldığından ziyade, gerçekten artımlı dönüşüm yaratıp yaratmadığını bilmeniz gerekiyor.
  • Kanalın dönüşüm hacmi holdout veya geo split'i destekliyor, bütçe de test boyunca grupları ayrı tutacak kadar esnek kalıyor.
  • Önemli bir harcama kararı lift kanıtını bekliyor, çünkü kanal sorumlusu güven aralığını görmeden bütçeyi nereye taşıyacağına karar veremiyor.

Şu durumlarda başka bir çalışma daha doğru

  • Kanal katkısını kontrollü testle ölçmek istemiyorsunuz, yalnızca kredi dağılımını daha hızlı görmek istiyorsunuz. Bu durumda Pazarlama Attribution Modellemesi doğru kapsam oluyor.
  • Pazarlama harcaması yerine ürün içi bir özelliği veya UX değişikliğini test ediyorsanız bu ihtiyaç Ürün Deneyleri Ölçümleme çalışmasına girer.

Bunlardan biri sizin durumunuza daha yakınsa, buradan başlayın: Pazarlama Ölçümleme ve Attribution çalışmalarının tümü

Şu olduğunda tamam sayarız: Uygun popülasyon, başarı metriği ve test süresi ön kayda geçmiştir, ayrıca kanal sorumlusu tasarımın gerçek operasyonda yürüyebileceğini onaylamıştır.

Ölçümleme sisteminizi kuran ekip

Zeo, bir iş kararını kurallara bağlı veri toplamaya ve sizin kontrol edebileceğiniz raporlamaya bağlayan ölçümleme sistemleri kuruyor. Burada gördüğünüz kişiler, bu sistemin sayfanın kapsadığı bölümünde çalışıyor.

Kullandığımız araçlar

Bu işin arkasındaki araçlar

  • GeoLift

    Geo holdout testini attribution modeli yerine burada tasarlayıp analiz ediyoruz

  • Jupyter

    Erken sonuçlar görünür olduğunda test tasarımının değiştirilmesini önleyen kayıt

  • Google Analytics

    Canlı testte holdout pazara sızan contamination'ı buradan izliyoruz

Sonraki adım

Kanalın artımlı katkısını ölçmek için testi planlayın

Test etmek istediğiniz kanalı ve sonuca bağlı kararı paylaşın. Uygulanabilirliği, maliyeti ve gerekli hacmi değerlendirerek kontrollü test tasarımını oluşturalım.
Incrementality testini planla

Başlamadan önce

Görüşmeden önce sorulanlar

Bu çalışma attribution modellemesinden nasıl ayrılır?

Attribution, gerçekleşmiş dönüşümlerin kredisini dağıtır. Incrementality testi ise kanalın aksi durumda oluşmayacak dönüşümleri yaratıp yaratmadığını kontrollü bir karşılaştırmayla ölçer. Daha fazla hacim, zaman ve operasyonel maliyet gerektirir. Buna karşılık nedensel bir soruyu ele alır.

Temiz bir test için yeterli hacim yoksa ne olur?

Yetersiz güçlü bir testten kesin bir sonuç çıkarmayız. Uygun olduğunda daha uzun süre, pazarların birleştirilmesi veya testin ertelenmesi seçeneklerini değerlendiririz.

Testi gelir kaybı olmadan yürütebilir miyiz?

Holdout ve benzeri tasarımlar çoğunlukla kısa vadeli bir fırsat maliyeti taşır. Kararı yanıtlayabilecek en küçük uygulanabilir testi boyutlandırırız. Maliyetin kabulü kanal sorumlusuna aittir.

Gerçek bir test için hangi koşullar gerekiyor?

Holdout veya geo split kurmaya yetecek hacim ve bütçe esnekliği ile test boyunca kanalı durdurma ya da kitleyi bastırma yetkisine sahip bir karar verici kişi gerekir.