Çalışan yaşam döngüsü · LLMOps ve AI observability

LLMOps ve Model Yaşam Döngüsü Platform Kurulumu

Çalışan bir LLMOps yaşam döngüsü sürümleri, değerlendirme kanıtını, insan onaylarını, ortam geçişi durumunu, izleme bulgularını ve geri alma izini tek bağlı yolda taşıyor.

Bir model, prompt veya veri değişikliğini kaynak sürümden değerlendirme, ortam geçişi, izleme, onay, geri alma ve data lineage kaydına kadar bağlıyoruz. Ekibiniz çalışan bu yaşam döngüsünü inceleyip genişletebiliyor. Yetki adı belli kişilerde kalıyor.

Temsili bir değişikliği sürümlü model çıktısından izlenen dağıtıma, kanıtı üzerinde kalacak biçimde taşıyan test edilmiş bir yaşam döngüsü akışıyla ayrılıyorsunuz.

Bu çalışmayı konuşalımAna hizmeti inceleyin
LLMOps ve Model Yaşam Döngüsü Platform Kurulumu illüstrasyonu: üretimdeki bir yapay zeka sistemini izleyen ve işleten ekip

Birlikte çalıştığımız 500'den fazla markadan birkaçı

Tüm referansları gör
  • DenizBank
  • Cimri
  • Defacto
  • Obilet
  • Canbebe
  • Doremusic
  • Groupama

Adımlar, kapılar ve kararı verenler

Çalışma şeklimiz

Platforma gerçeği yansıtan tek bir değişiklikle başlıyoruz. Bu değişikliği uçtan uca bağlıyor, engellenen yolları test ediyor ve ilk akış kendi kanıtını ve sorumlusunu taşımadan kapsamı büyütmüyoruz.

  1. Yaşam döngüsünü haritala

    Gerçeği yansıtan bir değişikliği mevcut sistemler boyunca takip ediyoruz. Model, prompt, veri, değerlendirme, dağıtım, izleme, onay ve data lineage kaydının nerede ayrıldığını ya da kaybolduğunu işaretliyoruz.

    Yapay zeka desteği
    Araçlarla mevcut sistemlerdeki yapılandırmaları izliyor, yaşam döngüsü haritasının ilk taslağını hazırlıyoruz.
    İnsan onayı
    İlk yaşam döngüsü akışı, bu akıştan sorumlu ekip ve kabul yolu açık mı? İlk yaşam döngüsü akışını ve kabul yolunu sizin platformdan sorumlu ekibiniz onaylıyor.

  2. Uçtan uca akışı geliştir

    Sürümlü çıktıdan değerlendirme kapısına ve ortam geçişine uzanan en kısa faydalı yolu kuruyoruz. Gerekli kanıtı taşıyabilen mevcut sistemleri yerinde bırakıyoruz.

    Yapay zeka desteği
    Araçlarla ince akışın sürümleme ve değerlendirme kapısı bağlantıları için bir iskelet oluşturuyoruz.
    İnsan onayı
    Temsili bir değişiklik, kanıtı bağlı kalacak şekilde bu yoldan ilerleyebiliyor mu? Gerçeği yansıtan bir değişikliğin kanıtıyla birlikte ilerlediğini mühendislik ekibiniz onaylıyor.

  3. İşletim kontrollerini bağla

    Kimlik, onay, istisna, izleme, geri alma, sürüm ve data lineage kayıtlarını aynı yola bağlıyoruz. Engellenen bir değişiklik de başarılı bir ortam geçişi kadar açıklayıcı bir kayıt bırakıyor.

    Yapay zeka desteği
    Araçlarla, belirlediğimiz rollere göre izin ve istisna yönlendirme kurallarının taslağını hazırlıyoruz.
    İnsan onayı
    İzinler ve istisna yolları, kritik kararları bu kararları vermeye yetkili kişilerde tutuyor mu? Kritik kararları kimlerin vereceğini ve hangi istisnaları kimlerin onaylayacağını sizin platformdan sorumlu ekibiniz netleştiriyor.

  4. Test et ve teslim et

    Temsili ve olumsuz vakalarda ortam geçişini, engellenen onayı, eksik kanıtı, başarısız geçişi, izleme bağlantısını ve geri almayı test ediyoruz. Bağımlılıkları belgeliyor, akışı işletecek ekibi teslim için hazırlıyoruz.

    Yapay zeka desteği
    Araçlarla kabul vakalarını çalıştırıyor, ortam geçişi ve geri alma sonuçlarını kayda alıyoruz.
    İnsan onayı
    Kabul edilen platform davranışı, toplanan kanıtlarla ve ekiplerin üstleneceği görevlerle uyumlu mu? Teslimden önce test ettiğimiz davranışı sizin platformdan sorumlu ekibiniz kabul ediyor.

Adı konmuş, sizde kalan çıktılar

Elinize geçenler

Çalışan akışla birlikte neden çalıştığını, nerede durduğunu, kritik adımları kimin onayladığını ve sonraki bir genişletmenin neyi kanıtlaması gerektiğini gösteren kayıtları teslim ediyoruz.

  • Mimari dokümanı

    Çalışan yaşam döngüsü uygulaması ve kontrol haritası

    Anlaştığımız kapsamda sürümleme, değerlendirme, ortam geçişi, izleme, onay, geri alma, sürüm ve data lineage izlenebilirliğini işleten çalışan yol.

  • Risk kaydı

    Sistem bağımlılıkları ve platform kısıtları defteri

    Platformun arkasındaki kaynak sistemleri, entegrasyon bağımlılıklarını, varsayımları, kısıtları, istisnaları, sorumluları ve açık kararları gösterir.

  • Test kanıtı

    Ortam geçişi, geri alma ve engelli onay bulguları raporu

    Normal yol, engellenen onay, eksik kanıt, başarısız ortam geçişi, geri alma ve izleme bağlantısı için test sonuçları.

  • Karar kaydı

    Kabul edilen roller, izinler ve genişletme öncelikleri listesi

    Kabul edilen kapsamı, işletim rollerini, izinleri, açık koşulları, genişletme önceliklerini ve sonraki incelemeyi kaydeder.

Kapsam ve dürüst sınırlar

Bu çalışmanın size uyduğu durumlar

Değişiklikler production'a ulaşıyor ama sürüm, değerlendirme kanıtı, onay, dağıtım kaydı, izleme sonucu ve data lineage tek bir yaşam döngüsü boyunca takip edilemiyorsa bu çalışma aradaki bağlantıyı kuruyor.

Şu durumlarda iyi bir seçim

  • Model, prompt, veri ve değerlendirme sürümleri ayrı sistemlerde duruyor, bu yüzden production'a çıkan kesin yapılandırmayı kimse yeniden kuramıyor.
  • Ortam geçişi manuel koordinasyona dayanıyor, ama onay kanıtı ile data lineage kaydı sistemler arasında ilerleyen sürümle birlikte taşınmıyor.
  • İzleme production'daki sorunu gösteriyor, ama bulgu o dağıtımın arkasındaki değerlendirme kanıtı ve yapılandırmayla eşleştirilemiyor.
  • Sürüm kayıtları birkaç araçta bulunuyor, ama model, prompt, veri, dağıtım ve izleme workflow'ları aynı data lineage yolunu paylaşmıyor.
  • Yaşam döngüsü mimarisi ortamları ve kimlikleri adlandırıyor, ama sistem bağımlılıkları ile engellenen istisna yolları açıkça kaydedilmiyor.
  • Temsili bir model çıktısı sürümlenebiliyor, ama değerlendirme kapısı, ortam geçişi ve geri alma tek bir çalışan akışta birbirine bağlanmıyor.
  • Kabul testleri çalışıyor, ama işletme sorumlusu platform davranışını adı belli görevlere bağlayan dokümana ulaşamıyor.

Şu durumlarda başka bir çalışma daha doğru

  • Daha küçük bir entegrasyon sürüm, kanıt ve onayları taşıyabildiği hâlde bütün mühendislik araçlarının değiştirilmesini istiyorsunuz.
  • Platform otomasyonunun production riski veya politika istisnasını onaylamasını bekliyorsunuz. Kritik kararlar işletim modelindeki kişilerde kalıyor.
  • Yaşam döngüsü akışının yanında ilgisiz model veya uygulama özellikleri de istiyorsunuz. Bu ürün değişiklikleri kendi kapsamını gerektiriyor.

Bunlardan biri sizin durumunuza daha yakınsa, buradan başlayın: Ana hizmeti inceleyin

Test ettiğimiz sistemleri kendimiz de işletiyoruz

Bir sistemi hiç ayakta tutmak zorunda kalmadıysanız onu iyi test etmek de zor. Biz production'da AI işletiyoruz, bu yüzden değerlendirme, güvenlik testi ve LLMOps çalışmalarımız gerçekte nelerin kırıldığını bilerek başlıyor. Ekibimiz kıdemli mühendislerden oluşuyor ve Zeo 2011'den beri müşteri projelerinde çalışıyor.

Bu konuda ürettiğimiz içerikler

YazıBurak PehlivanWebMCP Nedir? Agentic Web ve AI Ajanlarıyla Etkileşen Web SiteleriYazıCan MutioğluOpenAI Modelleri ve OpenAI API KullanımıYazıYiğit KonurMCP Server Observability: Monitoring, Testing & Performance MetricsYazıYiğit KonurMCP Server Architecture: State Management, Security & Tool Orchestration

Kullandığımız araçlar

Bu işin arkasındaki araçlar

  • PromptLayer

    Prompt'ları release etiketli yaşam döngüsü artifact'ları olarak sürümlüyor

  • Confident AI / DeepEval

    Her promotion kontrolü noktasına tekrarlanabilir değerlendirme kanıtı ekliyor

  • Langfuse

    Yayınlanan sürümleri gerçek production trace'lerine ve sonuçlarına bağlıyor

  • Datadog

    Yaşam döngüsü olaylarını deployment, altyapı ve incident verisine bağlıyor

  • MLflow

    Model sürümlerini, kanıtları, aşamaları, onayları ve promotion'ları kaydediyor

  • DVC

    Veri setlerini ve pipeline girdilerini yayınlanan kodla birlikte sürümlüyor

Sonraki adım

Platformu büyütmeden önce bir yaşam döngüsünü kanıtlayın

Gerçeği yansıtan bir model, prompt veya veri değişikliğini ve geçtiği sistemleri paylaşın. Kanıtı üzerinde taşıyacak en küçük yaşam döngüsü akışını birlikte tanımlayalım.
Zeo ile konuşun

Karar vermeden önce

Sık duyduğumuz sorular

Hangi girdi ve erişimlere ihtiyaç duyuyorsunuz?

Önce model, prompt, veri, değerlendirme, dağıtım, izleme, onay, sürüm ve data lineage kayıtlarını taşıyan mevcut workflow'ları inceliyoruz. Bu workflow'ların arkasındaki sistemlere, ortamlara, gerçek örneklere ve erişim kısıtlarına ihtiyaç duyuyoruz. Ayrıca platformu hangi ekibin işleteceğini ve ilk yaşam döngüsü akışına kimlerin son onayı vereceğini baştan netleştiriyoruz.

Mevcut MLOps veya mühendislik altyapımızı değiştiriyor musunuz?

Varsayılan yaklaşımımız bu değil. Önce her mevcut sistemin yaşam döngüsünde yaptığı işi belirliyoruz. Sürüm, kanıt, onay, ortam geçişi, izleme veya data lineage kaydını taşıyabiliyorsa sistemi yerinde tutuyor, gerekli bağlantıyı kuruyoruz. Değiştirme kararı ancak mevcut yol birlikte belirlediğimiz akışı destekleyemiyorsa kapsama giriyor.

Platformu teslimden önce nasıl test ediyorsunuz?

Gerçeği yansıtan bir değişikliği sürümleme, değerlendirme, onay, ortam geçişi, izleme ve geri alma adımlarından geçiriyoruz. Eksik kanıt, engellenen onay, başarısız geçiş ve diğer istisna yollarını da test ediyoruz. Son olarak platformdan sorumlu ekibiniz, kararlaştırdığımız akışın davranışını ve üstleneceği işletim görevlerini kabul ediyor.

Platform sürüm kararlarını otomatik verir mi?

Platform, kontrolleri, kanıt toplamayı, yönlendirmeyi ve sınırları belirli workflow adımlarını otomatikleştirebilir. Production riski ve politika istisnası kararlarını, erişim izinlerini ve sürüm onayını ise işletim modelinde bu görevler için belirlediğiniz kişiler veriyor.