Yapay Zeka Verisi ve Annotasyon · Kararlarda tutarlılık sağlamak için

Veri Annotasyonu ve Etiketleme

Etiketleme ancak ontoloji, kalibrasyon vakaları, kalite örneklemi ve uzman kararları aynı sürümlü production akışına bağlı kaldığında sonradan gerçekten incelenebilir bir operasyona dönüşüyor.

Production kuyruğunu açmadan önce her etiketin hangi kararı gerektirdiğini tanımlıyoruz. Ontoloji, örnekler, belirsizlik kuralları, etiketleyici kalibrasyonu, kalite örneklemi ve uzman kararları sonradan da incelenebilir kalıyor.

Çalışmanın sonunda, kabul edilen etiketlerle birlikte her görüş ayrılığını rubrik sürümüne bağlayan karar günlüğünü ve kesit bazında kalite karnesini devralıyorsunuz.

Annotasyon akışını planlayalımAI veri hizmetlerini inceleyin
Veri Annotasyonu ve Etiketleme illüstrasyonu: yapay zeka kullanımı için bir veri setini hazırlayan ve doğrulayan ekip

Birlikte çalıştığımız 500'den fazla markadan birkaçı

Tüm referansları gör
  • DenizBank
  • Enerjisa
  • Edenred
  • Obilet
  • Tazedirekt
  • İstanbul Gedik Üniversitesi

Adımlar, kapılar ve kararı verenler

Çalışma şeklimiz

Production öncesindeki örtüşen vakalar, yönergelerin ve etiketleyicilerin aynı karara ulaşıp ulaşmadığını gösteriyor. Farkların nedeni anlaşılmadan ana kuyruğu açmıyoruz.

  1. Annotasyon rehberini kur

    Ontolojiyi, yönergeleri, örnekleri, belirsizlik kurallarını ve eskalasyon yolunu görevin nerede zorlaştığını bilen uzmanlarınızla birlikte yazıyoruz.

    Yapay zeka desteği
    Örnek kayıtlardan yola çıkarak aday ontoloji terimlerini ve uç vakaları uzman incelemesi için taslaklar.
    İnsan onayı
    Rubriği ve ele alması gereken uç vakaları siz onaylıyorsunuz. Hangi uç vakaların rubriğe dahil edileceğine siz karar verirsiniz.

  2. Etiketleyicileri kalibre et

    Etiketleyicileri rehberle eğitiyor, örtüşen altın görevleri uyguluyor, görüş ayrılıklarını karşılaştırıyor ve production'dan önce belirsiz yönergeleri düzeltiyoruz.

    Yapay zeka desteği
    Altın görevlerdeki görüş ayrılıklarını işaretler ve etiketleyicilerin tekrar tekrar karıştırdığı noktaları gruplar.
    İnsan onayı
    Ekibiniz rubriği, production'a geçecek kadar tutarlı biçimde uygulayabilmelidir. Hangi belirsiz yönergenin production'dan önce yeniden yazılacağına annotasyon lideriniz karar verir.

  3. Teslimat sırasında kaliteyi izle

    Etiketleyiciler arası uyumu, çözüm oranını, kabul edilen etiket kusur oranını ve kaliteye göre düzeltilmiş annotasyon hızını izliyoruz. Kritik kesitleri ana kuyruktan ayrı olarak inceliyoruz.

    Yapay zeka desteği
    Kalite örneklemi için olası hatalı etiketleri ve anlaşmazlık artışlarını işaretler.
    İnsan onayı
    Kusurlar ve görüş ayrılıkları, kararlaştırdığımız sınırlara göre değerlendiriliyor mu? İşaretlenen her kalite istisnasını annotasyon lideriniz kabul veya eskale eder.

  4. Görüş ayrılığını çöz, sürümü hazırla

    Tartışmalı örnekleri alan uzmanlarınız çözüyor. Biz de rehber değişikliklerini sürümleyip kabul edilen etiketleri kalite kaydı ve bilinen sınırlarıyla birlikte teslim ediyoruz.

    Yapay zeka desteği
    Görüş ayrılığı karar günlüğünü ve rehber sürüm geçmişini dataset kartında bir araya getirir.
    İnsan onayı
    Etiketli dataseti ve kalan belirsizliği kimin kabul edeceğini siz belirliyorsunuz. Etiketli dataseti ve kalan belirsizliği kimin kabul edeceğine siz karar verirsiniz.

Adı konmuş, sizde kalan çıktılar

Elinize geçenler

Kabul edilen etiketleri rubrik sürümü, kalibrasyon vakaları, kalite örneklemi ve uzman kararlarıyla birlikte teslim ediyoruz.

  • Playbook

    Ontoloji tanımları ve belirsizlik kuralı kaydı

    Annotasyon operasyonunda kullanılan etiket setini, tanımları, örnekleri, kapsam dışı vakaları, belirsizlik kurallarını ve eskalasyon yolunu kapsar.

  • Test kanıtı

    Altın görev kalibrasyon bulguları ve rehber değişiklikleri

    Örtüşen kalibrasyon vakalarını, görüş ayrılıklarını, düzeltmeleri ve production'dan önce rehberde yapılan değişiklikleri kaydeder.

  • Pano

    Kesit bazında kalite ve görüş ayrılığı karnesi

    Etiketleyiciler arası uyumu, çözüm oranını, kabul edilen etiket kusurlarını ve kaliteye göre düzeltilmiş annotasyon hızını önemli kesitler bazında gösterir.

  • Dataset

    Görüş ayrılığı günlüğü ve kabul edilen etiket kartı

    Tartışmalı örnekleri, uzman kararlarını, rehber sürümlerini, dataset kapsamını, kalite kontrollerini ve bilinen sınırları kabul edilen etiketlerle birlikte sunar.

Kapsam ve dürüst sınırlar

Bu çalışmanın size uyduğu durumlar

Birden fazla kişinin zor kayıtlar için aynı değerlendirmeyi yapması ve ekibinizin görüş ayrılıklarının nasıl çözüldüğünü görebilmesi gerekiyorsa bu çalışma uygundur.

Şu durumlarda iyi bir seçim

  • Alan uzmanlarınız uç vakalarda farklı kararlar veriyor, bu yüzden hedef ontoloji ve kalite sınırları henüz tek bir etiketleme kararını yönlendiremiyor.
  • Etiketleyiciler production kuyruğuna girmek üzere, ama örtüşen altın görevler annotasyon rehberini farklı okuduklarını hâlâ gösteriyor.
  • Kabul edilen etiketler teslime hazır, ama görüş ayrılığı, çözüm ve kusur oranı kritik kesitlere göre hâlâ izlenemiyor.
  • Ontoloji etiketleri tanımlıyor, ama örnekler ve belirsizlik kuralları temsili uç vakalarda birden fazla yoruma hâlâ izin veriyor.
  • Eğitim planlanmış olsa da altın görev sonuçları, etiketleyicilerin production rubriğini farklı uyguladığını ve yeniden kalibrasyon gerektiğini gösteriyor.
  • Kalite örneklemi tartışmalı etiketleri buluyor, ama uzman kararıyla teslim edilen rehber sürümünü birbirine bağlayan bir kayıt bulunmuyor.
  • Üzerinde anlaştığımız veride hassas veya zararlı içerik bulunuyor, ama maruz kalma, erişim ve eskalasyon sınırları henüz karara bağlanmıyor.

Şu durumlarda başka bir çalışma daha doğru

  • Ham verinin, etiketleme politikasının veya gizlilik dayanağının hukuken onaylanmasını istiyorsunuz. Bu karar yetkili hukuk değerlendiricinizde kalıyor.
  • Tek bir uyum puanının kabul edilen her etiketin doğruluğunu kanıtlamasını bekliyorsunuz, ama bu puan ontolojiyi veya kritik kesitleri doğrulamıyor.
  • Production başladıktan sonra yeni veri türü, dil veya ontoloji dalı ekleniyor. Rehber ve kalibrasyon ayrıca kapsamlanmadan bu değişiklik işleyemiyor.

Bunlardan biri sizin durumunuza daha yakınsa, buradan başlayın: AI veri hizmetlerini inceleyin

AI'ı production'a taşıyan mühendisler

Zeo'nun kod yazıp teslim eden tarafı burası. Kıdemli mühendislerimiz agent, chatbot ve RAG sistemleri geliştiriyor, çevrelerindeki otomasyon ve veri işlerini üstleniyor, sistemler canlıya çıktıktan sonra da işletmeyi sürdürüyor. 2011'den beri 500'den fazla markayla çalıştık.

AI blogumuzu okuyun

Kullandığımız araçlar

Bu işin arkasındaki araçlar

  • DVC

    Her etiketli release'i DVC ile ayrı ve geri alınabilir biçimde sürümlüyoruz

  • Label Studio

    Netleştirdiğimiz ontolojiyi ve belirsizlik kurallarını Label Studio arayüzüne yerleştiriyoruz

  • Scale AI

    Yönetilen etiketleme ekibini production queue açılmadan önce Scale AI ile kalibre ediyoruz

  • SuperAnnotate

    Canlı etiketleme queue'sundan kalite örneklerini SuperAnnotate ile sürekli kontrol ediyoruz

  • Snorkel AI

    Karara bağlanan etiketleme kurallarını Snorkel AI ile yeniden kullanılabilir hâle getiriyoruz

  • Tonic

    Hassas veri öncesi kalibrasyonu Tonic'in kimliksizleştirilmiş örnekleriyle yapıyoruz

  • Jupyter

    Etiketleyiciler arası uyumu ve zaman içindeki kaymayı Jupyter'da hesaplıyoruz

Sonraki adım

Kuyruğu açmadan önce zor etiketleri netleştirelim

Görevi, temsili kayıtları ve tartışmalı vakalarda karar verecek alan uzmanlarını paylaşın. Production öncesinde gereken rubrik ve kalibrasyon çalışmasını hazırlayalım.
Çalışmayı planlayın

Karar vermeden önce

Sık duyduğumuz sorular

Operasyonu tasarlamadan önce neler hazır olmalı?

Görev tanımına, ham veri ve kullanım haklarına, hedef ontolojiye, temsili uç örneklere, alan uzmanlarına, kalite hedeflerine, gizlilik kısıtlarına ve beklenen teslimat ritmine ihtiyaç duyuyoruz. Production başladıktan sonra rubriği onaylayacak ve tartışmalı örnekleri çözecek kişilere de erişebilmemiz gerekiyor.

Rehberin tutarsız etiketlere yol açmasını nasıl önlersiniz?

Production öncesinde birkaç etiketleyici aynı kalibrasyon ve altın vakalar üzerinde çalışıyor. Görüş ayrılıkları, hangi tanımın, örneğin ya da belirsizlik kuralının farklı yorumlandığını gösteriyor. Alan uzmanları bu vakaları çözüyor, rehberdeki her değişikliği ayrı sürümde tutuyoruz.

Operasyonun sağlıklı olduğunu hangi ölçüler gösterir?

Etiketleyiciler arası uyumu, çözüm oranını, kabul edilen etiket kusur oranını ve kaliteye göre düzeltilmiş annotasyon hızını birlikte inceliyoruz. Görev için önem taşıyan kesitlere ayrıca bakıyoruz. Yüksek hız sistematik kusurları, güçlü uyum da hatalı bir ontolojiyi tek başına telafi etmez.

Hassas veya zararlı içerikle çalışırken ne yaparsınız?

Production başlamadan önce maruz kalma sınırlarını, erişim kontrollerini, saklama koşullarını ve eskalasyon yollarını belirliyoruz. Ayrıntılı önlemler, veriye ve gizlilik gereksinimlerinize göre değişir. Etiketleyicilerin, rehberi uygulamak için gerekenden fazla içeriğe maruz kalmaması ve riskli vakaları hızla aktarabilmesi esastır.