İzlenebilir production davranışı · LLMOps ve AI observability

Yapay Zeka İz ve Kalite İzleme

İzleme, operatör kararlarının çevresindeki gözlenebilir production event'lerini gizlilik sınırları, izlenebilir sinyal kaynakları ve kalibre uyarılarla birlikte adı belli müdahale yoluna bağlayarak ölçüyor.

Production'daki bir isteğin gözlemlenebilir olaylarını girdi ve retrieval'dan model, araç, politika, durum ve sonuca kadar izliyoruz. Operatörler inceleyebilecekleri sinyalleri, onayladıkları sınırları ve müdahale yolunu görüyor. Modelin gizli muhakemesi bu iddianın dışında kalıyor.

Production event haritası, örneklenmiş kalite görünümleri, uyarı sınırları ve olay müdahale planı, izleme sorumlunuza prova edebileceği bir işletim döngüsü veriyor.

Bu çalışmayı konuşalımAna hizmeti inceleyin
Yapay Zeka İz ve Kalite İzleme illüstrasyonu: üretimdeki bir yapay zeka sistemini izleyen ve işleten ekip

Birlikte çalıştığımız 500'den fazla markadan birkaçı

Tüm referansları gör
  • İyzico
  • Akakçe
  • Zorlu PSM
  • Isuzu
  • Sina Pırlanta
  • Marble Systems
  • Teyit.org

Adımlar, kapılar ve kararı verenler

Çalışma şeklimiz

İzleme tasarımına operatörün vereceği karardan başlıyoruz. Sonra bu kararı incelemek için gereken en az olay, alan, örnek ve sınırı belirliyoruz. Sırf toplanabildiği için veri toplamıyoruz.

  1. Kritik davranışı haritala

    Gerçeği yansıtan istekleri uygulama, retrieval, model, araçlar, politikalar ve sonuç boyunca takip ediyoruz. Kopuk bağlantılar görünür oluyor. Telemetriye girmesi için onaylı bir gerekçesi olmayan alanları da ayırıyoruz.

    Yapay zeka desteği
    Araçlar temsili istekleri hizmetler arasında izleyip olay haritasını taslaklıyor.
    İnsan onayı
    Önerilen izler, onaylı amacı aşmadan kritik yolları kapsıyor mu? Hangi verinin telemetriye girmemesi gerektiğini gizlilik uzmanınız onaylar.

  2. Sinyalleri incelemeye bağla

    Haritalanan her olayı, yalnızca bir operatör kullanacaksa kalite sinyaline, hizmet seviyesi hedefine, örnekleme kuralına, inceleme kuyruğuna, pano görünümüne veya sorun yönlendirmesine bağlıyoruz.

    Yapay zeka desteği
    Araçlar haritalanan olay kaynaklarından aday kalite sinyallerini taslaklıyor.
    İnsan onayı
    Her sinyalin olay kaynağı ve müdahale sorumlusu belli mi? Hangi sinyalin bir müdahale sorumlusuna bağlanacağını izleme sorumlunuz onaylar.

  3. Uyarıları kalibre et

    Aday uyarı sınırlarını temsili olaylarla yeniden test ediyoruz. Gürültülü uyarıları, kaçan olayları ve ciddi kesitleri ayrı inceliyoruz. Genel bir ortalama, operatörün önem verdiği vakayı gizleyebilir.

    Yapay zeka desteği
    Araçlar eşik testlerini çalıştırıp aday yanlış uyarıları işaretliyor.
    İnsan onayı
    Uyarıların kesinliği, duyarlılığı ve eskalasyon kuralı operatörler için kullanışlı mı? Hangi uyarı kuralının yeterince kesin olduğuna operatörünüz karar verir.

  4. Müdahaleyi prova et

    Olay provasında bir sinyali tespitten triyaja, eskalasyona ve sonraki değerlendirme incelemesine kadar takip ediyoruz. İzleme sorumlusu uyarıya eklenen kanıtla harekete geçebilmeli.

    Yapay zeka desteği
    Araçlar olay incelemesi için prova zaman çizelgesini kaydediyor.
    İnsan onayı
    Adı belli sorumlu, uyarıyla gelen kanıt üzerinden harekete geçebiliyor mu? Uyarı kanıtıyla harekete geçebildiğini adı belli sorumlunuz onaylar.

Adı konmuş, sizde kalan çıktılar

Elinize geçenler

Teslimatlar hangi verinin toplanabileceğini, kalite görünümünün nasıl hesaplandığını, uyarının ne zaman çalışacağını ve adı belli müdahale sorumlusunun sonra ne yapacağını açıklıyor.

  • Mimari dokümanı

    Production iz event'leri ve saklama haritası

    Onaylı olayları, alanları, kaynakları, ilişkileri, örnekleme kurallarını ve saklama sınırlarını gösteren şema.

  • Pano

    Örneklenmiş kalite görünümleri ve inceleme brief'i

    Her kalite görünümünün arkasındaki pano tanımı, kuyruk, örnekleme ve inceleme kuralları.

  • Karar kaydı

    Uyarı sınırları, yönlendirme ve operatör planı

    Eşikler, önem kuralları, hedefler, eskalasyon yolları ve her uyarıdan sonra beklenen aksiyon.

  • Playbook

    Gizlilik sınırları ve olay müdahale planı

    Veri toplama sınırlarını, olay adımlarını, inceleme sıklığını ve production izlemenin sürekli değerlendirmeyle bağını açıklar.

Kapsam ve dürüst sınırlar

Bu çalışmanın size uyduğu durumlar

Şikâyet veya uyarı geldiğinde sistemin ne yaptığını, hangi sinyalin değiştiğini ya da kimin müdahale edeceğini yeniden kuramıyorsanız bu çalışma production davranışını izlenebilir hâle getiriyor.

Şu durumlarda iyi bir seçim

  • Kritik bir production isteği retrieval, model, araç ve politikalardan geçiyor, ama ekip sonuca götüren event yolunu yeniden kuramıyor.
  • Kalite incelemeleri dağınık loglarla manuel kontrollere dayanıyor, bu yüzden kaçan veya ciddi bir kesit izleme sorumlusuna görünmeden kalabiliyor.
  • Uyarılar geliyor, ama operatörler kesinliğe güvenmiyor ve hangi müdahale ya da eskalasyon yolunun izleneceğini söyleyemiyor.
  • Girdi ve çıktılar loglanıyor, ancak retrieval, araç, durum, politika ve sonuç event'leri ortak iz ve saklama sınırında birleşmiyor.
  • Kalite sinyalleriyle hizmet seviyesi hedefleri var, ama örnekleme, inceleme kuyrukları, pano görünümleri ve uyarı yönlendirme müdahale sorumlusuna bağlanmıyor.
  • Temsili olaylar var, ancak uyarı sınırları yanlış uyarılar, kaçan event'ler ve ciddi kesitler karşısında henüz kalibre edilmiyor.
  • Telemetri toplanıyor, ama gizlilik sınırları, saklama kuralları, müdahale sorumluluğu ve inceleme sıklığı iz şeması çevresinde kararlaştırılmıyor.

Şu durumlarda başka bir çalışma daha doğru

  • Modelin gizli muhakemesinin yeniden kurulmasını istiyorsunuz, oysa bu çalışma yalnızca gözlenebilir girdi, çıktı, event, politika ve sonuçları ölçüyor.
  • Her hatanın gözleneceği ya da önleneceği güvencesi gerekiyor, ancak izleme yalnızca ölçümlenen yolları ve test edilen olayları kapsıyor.
  • Production destek işlevini izleme kapsamının ötesinde bizim yürütmemizi bekliyorsunuz, ama bu çalışma işletim döngüsünü sorumlularınıza devrettiğinde bitiyor.

Bunlardan biri sizin durumunuza daha yakınsa, buradan başlayın: Ana hizmeti inceleyin

Test ettiğimiz sistemleri kendimiz de işletiyoruz

Bir sistemi hiç ayakta tutmak zorunda kalmadıysanız onu iyi test etmek de zor. Biz production'da AI işletiyoruz, bu yüzden değerlendirme, güvenlik testi ve LLMOps çalışmalarımız gerçekte nelerin kırıldığını bilerek başlıyor. Ekibimiz kıdemli mühendislerden oluşuyor ve Zeo 2011'den beri müşteri projelerinde çalışıyor.

Bu konuda ürettiğimiz içerikler

YazıBurak PehlivanWebMCP Nedir? Agentic Web ve AI Ajanlarıyla Etkileşen Web SiteleriYazıYiğit KonurMCP Server Observability: Monitoring, Testing & Performance MetricsYazıYiğit KonurMCP Server Architecture: State Management, Security & Tool Orchestration

Kullandığımız araçlar

Bu işin arkasındaki araçlar

  • Traceloop

    Prompt, retrieval ve tool çağrılarını Traceloop ile OpenTelemetry uyumlu biçimde izliyoruz

  • Langfuse

    İz kayıtlarını, prompt'ları, oturumları ve değerlendirmeleri Langfuse ortamında birleştiriyoruz

  • Confident AI / DeepEval

    Kalite kriterlerini Confident AI ve DeepEval ile izlenebilir sinyallere dönüştürüyoruz

  • Ragas

    Retrieval tabanlı yanıtların dayanaklılığını ve bağlam kalitesini Ragas ile ölçümlüyoruz

  • Arize Phoenix

    Hatalı iz kayıtlarını Arize Phoenix ile ortak inceleme kalıplarına ayırıyoruz

  • Datadog

    Kalibre edilen AI kalite sinyallerini Datadog üzerinden production alarmlarına bağlıyoruz

Sonraki adım

Bir production isteğini sinyalden müdahaleye kadar izleyin

Kritik bir yolu, elinizdeki telemetriyi ve müdahale etmesi beklenen kişiyi paylaşın. Harekete geçmesine yardım edecek en küçük iz ve uyarı kapsamını birlikte belirleyelim.
Zeo ile konuşun

Karar vermeden önce

Sık duyduğumuz sorular

Hangi girdi ve erişimlere ihtiyaç duyuyorsunuz?

Temsili production use case'ler, sistem mimarisi, olay kaynakları, mevcut telemetri, gizlilik ve saklama kuralları, kalite veya hizmet seviyesi tanımları, örnek olaylar, inceleme kapasitesi ve müdahale sorumluları gerekir. Ölçüm başlamadan önce hangi verinin izleme alanına girebileceğini birlikte belirliyoruz.

AI araçları bu çalışmada nerede yardımcı olur?

Onaylı çalışma alanında benzer izleri gruplayabilir, olay kapsamasını karşılaştırabilir, inceleme örnekleri hazırlayabilir ve olası anomalileri işaretleyebilirler. Bir sonuç panoyu, eşiği veya olay kararını değiştirmeden önce kaynak olayları ve etiketleri kontrol ediyoruz.

İzlemenin işe yaradığını nasıl test ediyorsunuz?

Kritik yollardaki iz kapsamasına, eksik veya geçersiz olay oranına, uyarı kesinliği ve duyarlılığına, tespitten triyaja geçen süreye bakıyoruz. Genel görünüm iyi olsa bile nadir veya ciddi hataları ayrı inceliyoruz. Eşikleri ve eskalasyon yolunu müdahale sorumlunuz kabul eder.

İzleme bize neyi söyleyemez?

İzleme modelin gizli muhakemesini gösteremez. Gelecekteki her hatanın yakalanacağını da kanıtlayamaz. Tasarıma aldığımız yollar ve temsili olaylar için gözlemlenebilir kayıt, kalibre sinyal ve müdahale izi sağlıyor.