Sürüm kararı · LLMOps ve AI observability

Yapay Zeka Production Hazırlığı ve Sürüm Mühendisliği

Production hazırlığı, incelenen aday için ortam geçişi kanıtı, aşamalı yayın, geri alma provası, observability, destek sorumluluğu ve durdurma yetkisi sürümlü tek yolda birleştiğinde oluşuyor.

Aday sürüm ancak çıktı, değerlendirme, ortam, yayın, geri alma, izleme ve destek kanıtı birbiriyle uyumluysa karara hazırdır. Bu kaydı hazırlıyoruz. Sürüm sorumlunuz istisnaları kabul ediyor, koşul ekliyor veya yayını durduruyor.

Sürüm sorumlunuz yayını kabul etme, koşula bağlama veya durdurma kararını geçiş ve geri alma planına, kanıt envanterine, kabul bulgularına ve eskalasyon özetine dayandırıyor.

Bu çalışmayı konuşalımAna hizmeti inceleyin
Yapay Zeka Production Hazırlığı ve Sürüm Mühendisliği illüstrasyonu: üretimdeki bir yapay zeka sistemini izleyen ve işleten ekip

Birlikte çalıştığımız 500'den fazla markadan birkaçı

Tüm referansları gör
  • Yves Rocher
  • Yeditepe Üniversitesi
  • Aksigorta
  • Pozitif Live
  • Adore Mobilya
  • Elle
  • Evreka

Adımlar, kapılar ve kararı verenler

Çalışma şeklimiz

Aday sürümü sınırları belli tek bir karar olarak ele alıyoruz. Yolu belgeliyor, hata koşullarıyla prova ediyor ve çözülmemiş her konuyu görünür bırakarak sürüm sorumlusuna teslim ediyoruz.

  1. Sürüm sınırını haritala

    Aday çıktıyı sabitliyor, bu sürüme ait model, prompt, veri, değerlendirme, ortam, bağımlılık, destek ekibi ve karar yetkisini belirliyoruz.

    Yapay zeka desteği
    Araçlar, ortamlar arasındaki çıktıların ve bağımlılıkların incelemeye hazır envanterini çıkarır.
    İnsan onayı
    Sürüm hedefi, kısıtlar, sorumlular ve kabul yetkisi açık mı? Bu sınır için kabul yetkisini sürüm sorumlunuz onaylar.

  2. Hazırlık kapısını kur

    Ortam geçişini inceleyebildiğimiz kanıta bağlıyoruz. Aynı kayıtta istisna yolunu, yayın aşamalarını, geri alma koşullarını, izleme kontrollerini ve destek sürecine giriş noktalarını tanımlıyoruz.

    Yapay zeka desteği
    Araçlar haritalanan değerlendirme kapılarından aday geçiş ölçütlerini taslaklar.
    İnsan onayı
    Her kapının kanıtı, sorumlusu ve başarısız olduğunda uygulanacak adımı var mı? Hangi kapının geçişi engelleyeceğine, hangisinin yalnızca uyaracağına mühendislik sorumluları karar verir.

  3. Yayını ve geri almayı prova et

    Ekip aday sürümü temsili kabul vakalarından geçiriyor. Aşamalı yayını, kritik istisnaları, geri almayı, olay yönlendirmeyi ve toparlanmayı prova ediyor, varsayıma veya manuel aktarıma bağlı adımları kayda alıyoruz.

    Yapay zeka desteği
    Araçlar prova sırasında kabul vakalarını çalıştırıp sapmaları işaretler.
    İnsan onayı
    Test edilen bir koşul başarısız olduğunda ekip yayını durdurabiliyor veya geri alabiliyor mu? Ekibin başarısız bir adımı gerçekten geri alabildiğini operatörünüz onaylar.

  4. Sürüm kararını kaydet

    Hazırlık kanıtını, çözülmemiş koşulları, işletim sorumluluklarını, destek teslimini ve sonraki incelemeyi tek karar kaydında topluyoruz. Sürüm sorumlusu bu adımda adayı kabul ediyor, koşula bağlıyor veya durduruyor.

    Yapay zeka desteği
    Araçlar prova ve açık istisnalardan karar kaydını taslaklar.
    İnsan onayı
    Adı belli yetkili yayını kabul ediyor, koşullu kabul ediyor veya durduruyor mu? Yayını kabul eden, koşullayan veya durduran adı belli yetkilinizdir.

Adı konmuş, sizde kalan çıktılar

Elinize geçenler

Teslimat setini yayını yetkilendirecek, uygulayacak, gerektiğinde geri alacak ve sonrasında destekleyecek ekiplerin kullanacağı biçimde hazırlıyoruz.

  • Playbook

    Production geçiş, geri alma ve destek planı

    Ortam geçişi ölçütlerini, aşamalı yayını, geri alma adımlarını, izleme kontrollerini, destek yolunu ve durma koşullarını bir araya getirir.

  • Risk kaydı

    Sürüm kanıt kaynakları ve açık bağımlılık envanteri

    Sürümün arkasındaki sahadan kanıtı, sistem bağımlılıklarını, varsayımları, açık soruları, sorumluları ve inceleme durumunu gösterir.

  • Test kanıtı

    Kabul testi bulguları ve kritik istisna listesi

    Önemli yollar ve hata senaryolarındaki kabul testi sonuçlarını, kritik istisnaları ortalamalardan ayrı göstererek sunar.

  • Karar kaydı

    Kabul edilen sürüm koşulları ve eskalasyon özeti

    Sürüm kararını, kabul edilen koşulları, kalan riski, işletim sorumlularını, inceleme tarihini ve eskalasyon yolunu kaydeder.

Kapsam ve dürüst sınırlar

Bu çalışmanın size uyduğu durumlar

Değerlendirme sonucu bulunan bir aday için production'a geç, koşullu geç veya dur kararını henüz kimse savunulabilir biçimde veremiyorsa bu çalışma o karar yolunu kuruyor.

Şu durumlarda iyi bir seçim

  • Sürüm çıktıları, ortamlar ve işletim sorumlulukları farklı ekiplerde duruyor, bu yüzden aday sürümün tam yayın yolu tek kayıttan izlenemiyor.
  • Yaygınlaştırma ve geri alma adımları biliniyor, ama ekip bu sürümü durdurabilecek hata senaryolarına karşı henüz prova yapmıyor.
  • Yayın tarihi yaklaşıyor, ama kritik istisnalar veya destek sorumlulukları açık kaldığı için sürüm yetkiliniz karar veremiyor.
  • Adayın sürüm kimliği var, ancak çıktılar, ortam geçişi, değerlendirme kapıları, yaygınlaştırma ve geri alma tek yayın yolunda buluşmuyor.
  • Sürüm kararı yaklaşıyor, ama temsili kanıt, bağımlılıklar, hata senaryoları ve istisna kararları ekipler arasında dağınık kalıyor.
  • Değerlendirme sonuçları var, ama observability, destek sorumluluğu, olay giriş noktaları ve aktarım tek işletim hizmeti olarak kontrol edilmiyor.
  • Sürüm sorumlunuz production hazırlık kapısına ihtiyaç duyuyor, çünkü rehber, karar kaydı ve sonraki inceleme tetikleyicisi hâlâ ayrı duruyor.

Şu durumlarda başka bir çalışma daha doğru

  • Geçen değerlendirme ortalamasının kritik açık bir istisnayı geçersiz kılmasını istiyorsunuz. Hazırlık kapısı, sorumlusu istisnayı kapatana ya da kabul edene kadar görünür tutuyor.
  • Yayınlanan sistemin her koşulda güvenli, doğru veya mevzuata uyumlu olduğunun onaylanmasını istiyorsunuz. İnceleme bu sürümün kanıtını kaydediyor, evrensel garanti vermiyor.
  • Teslimden sonra production yayınını veya destek operasyonunu bizim yürütmemizi bekliyorsunuz. Rehber ve sorumlulukları aktarıyoruz, sürekli işletim ayrı kapsam gerektiriyor.

Bunlardan biri sizin durumunuza daha yakınsa, buradan başlayın: Ana hizmeti inceleyin

Test ettiğimiz sistemleri kendimiz de işletiyoruz

Bir sistemi hiç ayakta tutmak zorunda kalmadıysanız onu iyi test etmek de zor. Biz production'da AI işletiyoruz, bu yüzden değerlendirme, güvenlik testi ve LLMOps çalışmalarımız gerçekte nelerin kırıldığını bilerek başlıyor. Ekibimiz kıdemli mühendislerden oluşuyor ve Zeo 2011'den beri müşteri projelerinde çalışıyor.

Bu konuda ürettiğimiz içerikler

YazıBurak PehlivanWebMCP Nedir? Agentic Web ve AI Ajanlarıyla Etkileşen Web SiteleriYazıCan MutioğluOpenAI Modelleri ve OpenAI API KullanımıYazıYiğit KonurMCP Server Observability: Monitoring, Testing & Performance MetricsYazıYiğit KonurMCP Server Safety: Human-in-the-Loop Controls & Risk Assessment

Kullandığımız araçlar

Bu işin arkasındaki araçlar

  • PromptLayer

    Her release adayındaki prompt yapılandırmasını PromptLayer ile versiyonlayıp sabitliyoruz

  • Confident AI / DeepEval

    Release onayı öncesinde kalite ve güvenlik testlerini Confident AI ile otomatik çalıştırıyoruz

  • LaunchDarkly

    Kademeli production geçişini ve geri alma mekanizmasını LaunchDarkly ile yönetiyoruz

  • Datadog

    Kademeli production geçişini belirlenen durdurma koşullarına göre Datadog'da izliyoruz

  • MLflow

    Release adayı model sürümünü tüm parametre ve değerlendirme kanıtlarıyla MLflow'da takip ediyoruz

Sonraki adım

Aday sürümü gerçek bir karara getirin

Aday sürümü, bugüne kadar toplanan kanıtı ve yayını durdurabilecek kişinin adını paylaşın. Karar verilmesini engelleyen ilk açığı birlikte belirleyelim.
Zeo ile konuşun

Karar vermeden önce

Sık duyduğumuz sorular

Hangi girdi ve erişimlere ihtiyaç duyuyorsunuz?

Sürüm çıktılarına, hedef ortamlara, değerlendirme kapılarına, yayın ve geri alma planlarına, observability ve destek düzenine, sorumlu kişilere, temsili örneklere, bilinen kısıtlara ve sürümü kabul edecek ya da durduracak yetkiliye ihtiyaç duyuyoruz. Varsa olay ve değişiklik kayıtlarını da inceliyoruz.

AI araçları sürüm mühendisliğinde nerede yardımcı olur?

Onaylı çalışma alanında sürümleri karşılaştırabilir, kanıt kapsamasını kontrol edebilir, kabul testi senaryoları hazırlayabilir ve açık istisnaları özetleyebilirler. Bir kaynak veya sonuç hazırlık kapısına ya da sürüm kararına girmeden önce uzman tarafından doğrulanır.

Bir sürümün hazır olduğuna nasıl karar veriyorsunuz?

Hazırlık kapısının geçiş durumunu, kritik istisnaların kapanmasını, sürüm çıktıları ve işletim sorumlulukları için kanıt kapsamasını, kararın teslim edilme süresini inceliyoruz. Kritik bir istisna, ortalamayla kapanmış sayılmaz. Sürüm yetkiliniz yayını kabul eder, koşula bağlar veya durdurur.

Hazırlık incelemesi sistemi sertifikalandırır mı?

Hayır. İnceleme bu sürümün kanıtını, istisnalarını, sorumlularını, yayın ve geri alma koşullarını, destek düzenini kayda alıyor. Sistemi sertifikalandırmıyor. Hukuki, düzenleyici, sertifikasyon ve kalan risk kararları atadığınız yetkin sorumlulara ait kalıyor.