Web Analytics · Analytics Engineering

Veri Zenginleştirme ve Dönüşüm

Türetilmiş her tablo, altında olduğu gibi duran ham export'a kadar geri izlenebilir.

Ham GA4 export'unda kampanya etiketleri tekrarlanabilir, kanal adları tutarsız kalabilir ve bazı kayıtlar join'e girmeyebilir. Ham kayıtları değiştirmeden bu sorunları ele alan, kuralları izlenebilir bir dönüşüm katmanı kuruyoruz.

Mantığı belgelenmiş, join kalitesi ölçülebilen ve gerektiğinde ham veriye geri dönülebilen kullanıma hazır tablolar.

Veri dönüşümünü planlaAnalytics Engineering ve BigQuery çalışmalarının tümü
Bir Zeo rafinerisinde ham veri kasalarının zenginleştirme hunisinden geçerek etiketli kavanozlara aktığı sahne

Birlikte çalıştığımız 500'den fazla markadan birkaçı

Tüm referansları gör
  • Pegasus Airlines
  • TransferGo
  • Canbebe
  • AVVA
  • Country Floors
  • Quick Sigorta

Nasıl yürütürüz?

Ham export'u inceler, kuralları test eder ve her yayını izleriz

Dönüşüm kurallarını ham export'un üzerinde, ayrı bir katmanda çalıştırıyoruz. Böylece her sonuç kaynağına kadar takip edilebiliyor. Ham export'u profilliyor, dönüşüm kurallarını tanımlıyor, uç durumlarla test ediyor ve yalnızca izlenebilir tabloları production'a alıyoruz.

Çalışma ilkelerimiz

  • Ham export'u kanıt katmanı olarak koruyoruz — Dönüşümler ham export'tan okuyan ayrı bir katmanda çalışıyor. Normalizasyon kararları bu yüzden orijinal kaydın yerini almıyor.
  • Tekrarlanan iş etiketlerini aynı kurala bağlıyoruz — Kampanya, kanal ve ürün adlarını standartlaştırıyor, her kaynağın ilk kaydettiği değeri de koruyoruz.
  • Join'e girmeyen kayıtları görünür tutuyoruz — Eşleşme oranını ölçüyor, eşleşmeyen kayıtları düşürmek ya da onlar için değer tahmin etmek yerine işaretliyoruz.
  • Her kural değişikliğini tarih ve sürümle kaydediyoruz — Geçmişi etkileyen her değişikliğe sürüm ve yürürlük tarihi ekliyoruz. Böylece geçen yılın rakamları sessizce yeniden yazılmıyor.

  1. Ham veriyi profilliyoruz

    Dönüşüm mantığını yazmadan önce export edilmiş verideki gerçek değerleri, null'ları ve tutarsızlıkları inceliyoruz.

    Veri profili

    Yapay zeka desteği
    Null artışlarını ve etiket varyantlarını otomatik olarak işaretler.
    İnsan onayı
    Hangi anormalliğin önemli olduğuna analist karar veriyor.
    Sorumlular
    Analitik Mühendisi, BI Analisti
    Büyük bir büyüteçle arama sonucu satırını inceleyen çizim karakter

  2. Dönüşüm kurallarını tanımlıyoruz

    Normalizasyon, join ve deduplication mantığını yazıyor, uygulamadan önce uç durumlara yönelik test senaryolarını belirliyoruz.

    Transformation spesifikasyonu

    Yapay zeka desteği
    Üzerinde uzlaşılan şemaya göre SQL join mantığının taslağını hazırlar.
    İnsan onayı
    Join key'lerini veri sorumlunuz onaylıyor.
    Sorumlular
    Analitik Mühendisi, Veri Sorumlusu
    Çizim masasında plan çizen karakter

  3. Kuralları kuruyor ve test ediyoruz

    Kuralları uyguluyor, bilinen doğru örnekler ve sınır durumlar üzerinden test ediyoruz.

    Test sonuçları

    Yapay zeka desteği
    Kuralları sınır durum senaryolarında çalıştırır.
    İnsan onayı
    Birleştirme öncesinde başarısız testleri mühendis inceliyor.
    Sorumlular
    Analitik Mühendisi
    Veri şeridini makineden geçiren çizim karakter

  4. Yayına alıyor ve izliyoruz

    Dönüşümleri production'a alıyor, şema ya da veri kaymasının sonraki tabloları sessizce bozmasını önlemek için kontroller kuruyoruz.

    İzleme kurulumu

    Yapay zeka desteği
    Her çalıştırmadan sonra şema kaymasını izler.
    İnsan onayı
    Kayma sınırını nöbetçi analist onaylıyor.
    Sorumlular
    Analitik Mühendisi, Warehouse Yöneticisi
    Takip satırlarıyla dolu bir ekranı izleyen çizim karakter

Ham export'u değiştirmeden izlenebilir bir dönüşüm katmanı kurarız

Otomasyon export'u profiller, null sıçramalarını ve etiket varyantlarını işaretler, join ve normalizasyon SQL'ini hazırlar, sınır durum fixture'larıyla çalıştırır ve her koşudan sonra şema kaymasını izler. Veriyi şekillendiren kararlar insanda kalır: hangi anomalinin önemli olduğu, hangi join anahtarının meşru sayıldığı ve merge öncesinde başarısız bir testin ne anlama geldiği.

Ne teslim ederiz?

Tabloları, onları açıklayan veri sözlüğüyle birlikte teslim ediyoruz

Ekibiniz, sürdürülemeyen kara kutu bir sorgu yerine belgelenmiş dönüşüm mantığını ve kullanıma hazır tabloları kullanıyor.

  • Teknik spesifikasyon

    Transformation spesifikasyonu

    Normalizasyon, join ve deduplication mantığının tamamını içeren sürümlenmiş ve belgelenmiş spesifikasyon.

    Kabul koşulu

    Spesifikasyon sürümlenir ve mevcut tabloları üreten sürüm tespit edilebilir.

    Ritim: Her kural değişikliğinde versiyonlanır

  • Çalışma dokümanı

    Kullanıma hazır tablolar

    Dashboard'larda, modellerde ya da sonraki aktivasyon süreçlerinde kullanılmak üzere temizlenmiş ve birleştirilmiş tablolar.

    Kabul koşulu

    Satır sayıları ve kategori dağılımları, belirtilen tolerans içinde ham kaynakla mutabık kalır.

    Ritim: Pipeline takviminde yeniden üretilir

  • Referans dokümanı

    Veri sözlüğü

    Her türetilmiş alanın ne anlama geldiğini ve hangi kaynaktan geldiğini açıklar. Sonraki analistlerin yapıyı tersine mühendislikle çözmesine gerek kalmaz.

    Kabul koşulu

    Türetilmiş her alan, kaynak kolonlarını ve kendisini üreten kuralı belirtir.

    Ritim: Her türetilmiş alanda güncellenir

Şu olduğunda tamam sayarız: join eşleşme oranları ölçülüp belgelendiğinde, eşleşmeyen kayıtların ne olacağı yazıldığında ve ham katman hâlâ sorgulanabilir durumdayken.

Uyum ve hazırlık

Tutarsız etiketler ve başarısız join'ler, ham export'ları kullanmayı zorlaştırır

Ham kaynağın yerini almadan dashboard, model ya da aktivasyon için kullanılabilir tablolar gerektiğinde bu dönüşüm katmanını kuruyoruz.

Şu durumlarda iyi bir seçim

  • GA4 ya da başka export'larınız warehouse'a ulaşıyor, ancak kampanya, kanal ya da ürün etiketleri kaynaklar arasında tutarsız kalıyor.
  • Dashboard, model ya da sonraki araçlar için ham event export'larının ötesinde birleştirilmiş ve kullanıma hazır tablolara ihtiyacınız var.
  • Dönüşüm mantığı, ekibin güvenle sürdüremediği spreadsheet'lere ya da belgelenmemiş sorgulara dağılmış durumda.

Şu durumlarda başka bir çalışma daha doğru

  • İhtiyacınız warehouse dönüşümü değil, GA4 export bağlantısının kurulmasıysa doğru kapsam GA4 Entegrasyonları ve Veri Aktivasyonu çalışmasıdır.
  • Warehouse dönüşümü yerine server-side toplama routing'ine ihtiyacınız varsa, doğru kapsam GTM Server-Side Container ve Cloud Kurulumu çalışmasıdır.

Bunlardan biri sizin durumunuza daha yakınsa, buradan başlayın: Analytics Engineering ve BigQuery çalışmalarının tümü

Şu olduğunda tamam sayarız: ham veri profillendiğinde ve veri sorumlusu join anahtarlarını onayladığında; kurallar o zaman export'un gerçekte içerdiği şeye göre yazılır.

Ölçümleme sisteminizi kuran ekip

Zeo, bir iş kararını kurallara bağlı veri toplamaya ve sizin kontrol edebileceğiniz raporlamaya bağlayan ölçümleme sistemleri kuruyor. Burada gördüğünüz kişiler, bu sistemin sayfanın kapsadığı bölümünde çalışıyor.

Bu konuda ürettiğimiz içerikler

VideoYiğit KonurBigQuery for SEO - Yiğit Konur

Kullandığımız araçlar

Bu işin arkasındaki araçlar

  • BigQuery

    sayfanın yaklaşımının dokunmadan korumaya bağlı olduğu ham export'u tutar

  • dbt

    dönüşüm kuralları tek seferlik script'ler yerine testli, sürümlenmiş modeller olarak burada kurulur

Sonraki adım

Ham export'larınızı güvenilir tablolara dönüştürün

Ham verinizi ve bu veriyle ne kurmak istediğinizi birlikte inceleyelim. Kanıtı değiştirmeden temizleyen ve aktivasyon için hazırlayan dönüşümleri tasarlayalım.
Veri dönüşümünü planla

Başlamadan önce

Görüşmeden önce sorulanlar

Bu çalışma ham export verimizi değiştirir mi?

Hayır. Dönüşüm katmanı ham export'ları değiştirmeden onlardan okuyor. Sonradan bir sorun görülürse kontrol edilecek orijinal kanıt yerinde kalıyor.

Eşleşmeyen veya join'e girmeyen kayıtlara ne olur?

Bu kayıtları sessizce düşürmek yerine ölçüyor ve işaretliyoruz. Verinin ne kadarının temiz biçimde birleşmediğini ve bunun nedenini görüyorsunuz. Sonucun kabul edilebilir olup olmadığına siz karar veriyorsunuz.

Bu çalışma sorunlu kaynak veriyi düzeltir mi?

Tutarsız etiketleri normalize edebiliyor ve mevcut veriyi kullanılabilir biçimde yapılandırabiliyoruz. Ancak hiç toplanmamış veriyi üretemiyoruz. Sorun toplama katmanındaysa ayrı bir görev gerekiyor.

Warehouse için hangi erişimlere ihtiyaç var?

Ham export'ların ulaştığı warehouse'a, genellikle BigQuery'ye erişmemiz gerekiyor. Ayrıca kullanıma hazır tabloların hangi ihtiyacı karşılayacağı net olmalıdır.