Sınırları belli işletim hizmeti · LLMOps ve AI observability

Yönetilen Yapay Zeka Operasyonları ve Sürekli İyileştirme

Yönetilen operasyonun işlemesi için olayların, değerlendirme bulgularının, maliyet hareketlerinin ve önerilen değişikliklerin sorumluları ile inceleme noktaları belli tek bir hizmet kaydına girmesi gerekiyor.

İzleme sinyallerini, olayları, değerlendirme bulgularını, maliyet hareketlerini ve önerilen değişiklikleri aynı hizmet kaydında tutuyoruz. Her konu kanıtı, önem derecesi, sorumlusu, sonraki adımı ve inceleme noktasıyla ilerliyor. Önceliği ve kalan riski hizmet sorumlunuz belirliyor.

Elinizde neyin değiştiğini, kimin sorumlu olduğunu ve konunun ne zaman yeniden inceleneceğini gösteren güncel bir hizmet kaydı ile iyileştirme listesi kalıyor.

Bu çalışmayı konuşalımAna hizmeti inceleyin
Yönetilen Yapay Zeka Operasyonları ve Sürekli İyileştirme illüstrasyonu: üretimdeki bir yapay zeka sistemini izleyen ve işleten ekip

Birlikte çalıştığımız 500'den fazla markadan birkaçı

Tüm referansları gör
  • PayTR
  • AVVA
  • Cheetos
  • Jumbo
  • Quick Sigorta
  • Ekol

Adımlar, kapılar ve kararı verenler

Çalışma şeklimiz

Yönetilen hizmete önce bir çalışma çerçevesiyle başlıyoruz. Bu sınırın içindeki her önemli sinyal aynı hizmet kaydına giriyor, sorumluya, karara veya neden açık kaldığını gösteren bir sonraki inceleme noktasına bağlanıyor.

  1. İşletim çerçevesini belirle

    Çalışma çerçevesinde hizmetleri, ortamları, sinyalleri, kuyrukları, sorumluları, eskalasyon yollarını, karar sıklığını ve kapsam dışı işleri adlandırıyoruz. Böylece olay kuyruğu sessizce sınırsız production desteğine dönüşmüyor.

    Yapay zeka desteği
    Araçlar mevcut sistemler ve kuyruklardan aday hizmet sınırını taslaklar.
    İnsan onayı
    Hizmetin sınırı, müdahaleden sorumlu ekip ve karar yetkisi açık mı? Hangi sistem ve kararların gerçekten kapsamda olduğunu hizmet sorumlunuz onaylar.

  2. İzleme ve triyajı yürüt

    Production sinyalleri, olaylar, değerlendirme bulguları, maliyet hareketleri, kullanıcı geri bildirimleri ve açık istisnalar aynı triyaja giriyor. Her önemli konu kanıt, önem derecesi, sorumlu ve sonraki adımla kayda geçiyor.

    Yapay zeka desteği
    Araçlar gelen sinyalleri yönlendirip triyaj incelemesi için önem derecesini taslaklar.
    İnsan onayı
    Her önemli konunun kanıtı, önem derecesi, sorumlusu ve sonraki adımı var mı? Her önemli konunun önem derecesini ve sorumlusunu operasyon liderimiz onaylar.

  3. Önerilen değişiklikleri test et

    İyileştirme listesindeki işleri sizin önceliğinize göre seçiyoruz. Bağımlılıkları ve hata senaryolarını inceliyor, production değişikliği karar sorumlusuna gitmeden önce gerçeği yansıtan davranışı test ediyoruz.

    Yapay zeka desteği
    Araçlar sahadan vakaları çalıştırıp kabul koşullarına göre hataları işaretler.
    İnsan onayı
    Değişiklik kalite, maliyet, güvenilirlik ve geri alma koşullarını karşılıyor mu? Bir değişikliğin geri alma ve kalite koşullarını karşılayıp karşılamadığına hizmet sorumlunuz karar verir.

  4. İncele ve iyileştir

    Kabul edilen ve reddedilen değişiklikleri hizmet kaydına işliyoruz. Sonraki ölçümün sorumlusunu belirliyor, açık koşulları görünür tutuyor ve kararlaştırdığımız inceleme noktasında yeniden ele alıyoruz.

    Yapay zeka desteği
    Araçlar incelemeden güncellenmiş hizmet kaydı ve listeyi taslaklar.
    İnsan onayı
    Şimdi ne kabul edildi, ne açık kaldı ve ne zaman yeniden incelenecek? Neyin kapandığını ve neyin açık kaldığını hizmet sorumlunuz kabul eder.

Adı konmuş, sizde kalan çıktılar

Elinize geçenler

Hizmet sorumlusu tek kaydı açtığında ne olduğunu, neden önemli olduğunu, kimin harekete geçtiğini, hangi değişikliğin test edildiğini, neyin kabul edildiğini ve hangi konunun beklediğini görebiliyor.

  • Yol haritası

    Yönetilen operasyon hizmet kaydı ve iyileştirme listesi

    Güncel hizmet sınırını, olayları, bulguları, öncelikleri, bağımlılıkları, sorumluları, kabul edilen değişiklikleri ve açık iyileştirme işlerini gösterir.

  • Risk kaydı

    İzleme kaynakları ve açık bağımlılık envanteri

    İyileştirme listesinin arkasındaki izleme kaynaklarını, değerlendirme kanıtını, varsayımları, sistem bağımlılıklarını, kısıtları ve açık soruları toplar.

  • Rapor

    Değişiklik test özeti ve geri alma istisnaları

    Önerilen değişikliklerin önemli kesitler, hatalar, istisnalar ve geri alma koşullarıyla birlikte test sonuçlarını sunar.

  • Karar kaydı

    Kalan risk, uygulama sorumlusu ve sonraki ölçüm listesi

    Kabul edilen aksiyonu, koşulları, kalan riski, sorumluyu, uygulamanın ekibe nasıl aktarılacağını, sonraki ölçümü ve inceleme noktasını kaydeder.

Kapsam ve dürüst sınırlar

Bu çalışmanın size uyduğu durumlar

Production işi birkaç kuyruğa dağılıyor ve ekibiniz sorunları sınıflandırmak, iyileştirmeleri sıralamak, değişiklikleri test etmek ve kararları kaydetmek için sınırları belli tek bir yere ihtiyaç duyuyorsa bu hizmet o işletim düzenini kuruyor.

Şu durumlarda iyi bir seçim

  • Olay, kalite bulgusu, maliyet hareketi ve kullanıcı geri bildirimi ayrı kuyruklara düşüyor, bu yüzden hizmet sorumlunuz tek bir sıra kuramıyor.
  • Ekibiniz production'da değişiklik yapıyor, ama gerekçe, kanıt, sonuç ve sonraki inceleme noktası hizmet kaydına birlikte yansımıyor.
  • Destek talepleri iyileştirme işini sürekli geriye itiyor, bu yüzden listedeki maddeler ortak bir öncelik ve kabul yolu olmadan incelemeye geliyor.
  • Production sinyalleri izleme ve olay triyajından geliyor, ama kalite, maliyet ve hizmet durumunu tek raporda kimse göremiyor.
  • İyileştirme listesi bağımlılıkları gösteriyor, ama hangi istisnanın önce ele alınacağını hiçbir sorumlu göremiyor.
  • Önerilen değişiklik tek bir sonuçta hazır görünüyor, ama temsili testler hata vakalarını ve geri alma koşullarını henüz sınamıyor.
  • Değişiklik incelemede kabul ediliyor, ama sorumluluk, ekipler arası aktarım, sonraki ölçüm ve inceleme tarihi farklı kayıtlarda kalıyor.

Şu durumlarda başka bir çalışma daha doğru

  • Tek bir ekibin sınırsız production desteğini üstlenmesini bekliyorsunuz, çünkü işletim çerçevesi yalnızca adını verdiği hizmet ve kuyrukları kapsıyor.
  • İş, politika, hukuk veya kalan risk kararını Zeo'nun vermesini istiyorsunuz, ama bu yetki hizmet sorumlunuzda ve ilgili uzmanlarda kalıyor.
  • Olayların, maliyet değişimlerinin ya da kalite hatalarının tamamen biteceği bir garanti arıyorsunuz, ama bu hizmet yalnızca ele alma biçimini düzenliyor.

Bunlardan biri sizin durumunuza daha yakınsa, buradan başlayın: Ana hizmeti inceleyin

Test ettiğimiz sistemleri kendimiz de işletiyoruz

Bir sistemi hiç ayakta tutmak zorunda kalmadıysanız onu iyi test etmek de zor. Biz production'da AI işletiyoruz, bu yüzden değerlendirme, güvenlik testi ve LLMOps çalışmalarımız gerçekte nelerin kırıldığını bilerek başlıyor. Ekibimiz kıdemli mühendislerden oluşuyor ve Zeo 2011'den beri müşteri projelerinde çalışıyor.

Bu konuda ürettiğimiz içerikler

YazıBurak PehlivanWebMCP Nedir? Agentic Web ve AI Ajanlarıyla Etkileşen Web SiteleriYazıCan MutioğluOpenAI Modelleri ve OpenAI API KullanımıYazıYiğit KonurMCP Server Observability: Monitoring, Testing & Performance MetricsYazıYiğit KonurMCP Server Economics — TCO Analysis, Business Models & ROI

Kullandığımız araçlar

Bu işin arkasındaki araçlar

  • Airtable

    Hizmet kaydını ilk incelemeden kabul edilen değişikliğe kadar tutuyor

  • Datadog

    Kalite, maliyet ve incident'lar için ortak operasyon görünümünü yürütüyor

  • Langfuse

    Her kalite sorununu incelenebilir trace ve sürüm kaydına dönüştürüyor

  • Confident AI / DeepEval

    Önerilen iyileştirmeler release'e girmeden önce regresyon kontrollerini yeniliyor

  • Helicone

    İstek maliyeti, latency, token, yeniden deneme ve cache değişimini izliyor

Sonraki adım

Production konularını tek sorumlu hizmet kaydında toplayın

Hizmet sınırını, açık olay veya bulguları ve öncelikleri belirleyen kişiyi paylaşın. İlk yönetilen triyajı ve inceleme kaydını birlikte kuralım.
Zeo ile konuşun

Karar vermeden önce

Sık duyduğumuz sorular

Hangi girdi ve erişimlere ihtiyaç duyuyorsunuz?

Production hizmetinin sınırı, izleme ve olay kaynakları, değerlendirme sonuçları, maliyet görünümleri, mevcut iş listesi, bilinen kısıtlar, işletim ve mühendislik sorumluları, eskalasyon yolları ve bir değişikliği önceliklendirecek ya da kabul edecek yetkili gerekir. Erişim üzerinde anlaştığımız işletim işiyle sınırlı kalır.

Bu hizmet tüm AI operasyonunu dışarıdan bir ekibe bırakmak anlamına mı geliyor?

Hayır. İşletim çerçevesi yönettiğimiz hizmetleri, kanıt kaynaklarını, kuyrukları, kararları ve inceleme sıklığını tek tek adlandırıyor. Production yetkisi ve bu sınırın dışındaki sorumluluklar ekiplerinizde kalıyor. Hizmet ancak ayrı bir kapsam kararıyla genişliyor.

Bir iyileştirmenin hazır olduğuna nasıl karar veriyorsunuz?

Örnek değerlendirme kanıtı, görünür bağımlılıklar ve istisnalar, uygulama ve geri alma sorumlusu ile açık bir kabul kararı gerekiyor. Kritik istisnaların kapanmasına, kanıtın yeterliliğine ve kararın ya da ekipler arası aktarımın gecikip gecikmediğine de bakıyoruz. Genel görünümün sağlıklı olması, ciddi bir açık koşulu ortadan kaldırmıyor.

Hangi sonuçları garanti etmiyorsunuz?

Production olaylarının, maliyet değişimlerinin veya kalite hatalarının tamamen biteceğini vaat etmeyiz. Hizmet kararlaştırdığımız işletim sınırındaki konuları tespit etmek, sınıflandırmak, test etmek, karara bağlamak ve yeniden incelemek için tekrarlanabilir bir yol kurar.