Bu çalışmada odaklı bir üretken AI uygulaması geliştiriyoruz. Ürüne dönüşüp dönüşmediğini kullanıcı yolculuğunun, durumun, kimlik ve veri yollarının, model davranışının, kontrollerin, değerlendirmenin ve işletme sorumluluğunun tek sistem olarak çalışıp çalışmadığı belirliyor.

Kullanıcı yolculuğunu, uygulama durumunu, veri ve kimlik yollarını, model davranışını, kontrolleri ve değerlendirmeyi, yayından sonra adı belli bir ekip tarafından işletilebilecek odaklı bir üretken AI ürününde birleştiriyoruz.

Yayın sonunda ürün sorumlunuz çalışan uçtan uca uygulama yolunu, kritik kesit yayın kaydını, onaylı veri akışı kontrollerini ve adı belli destek, geri alma, model değişikliği görevlerini devralıyor.

Özel Üretken Yapay Zeka Uygulaması Geliştirme illüstrasyonu: üretken bir yapay zeka uygulamasını bileşenlerinden bir araya getiren ekip

Birlikte çalıştığımız 500'den fazla markadan birkaçı

Tüm referansları gör
  • Findeks
  • ETS Tur
  • Sompo Sigorta
  • Isuzu
  • Hotiç
  • Doğtaş
  • Ajansspor

Ürünü, kullanıcı niyetinden başlayıp işletme sorumluluğuna uzanan tek bir yol olarak değerlendiriyoruz. Tek başına çalışan bir model çağrısı bu yolun yalnızca bir parçasıdır.

  1. Ürünün neleri yapabileceğine karar veriyoruz

    Kullanıcı yolculuğunu, uygulamanın durumunu, geri dönüşü, incelemeyi ve izinleri haritalıyoruz. Ürünün nerede öneri sunabileceğini, aksiyon alabileceğini, bekleyeceğini veya duracağını da bu aşamada belirliyoruz.

    Yapay zeka desteği
    Haritalanan kullanıcı yolculuğundan aday durum ve izin diyagramlarını model hazırlıyor. Ürün ve tasarım ekibi taslağı inceleyip yetki sınırlarını düzeltiyor.
    İnsan onayı
    Kullanıcı, sistemin ne yaptığını ve nerede onay gerektiğini anlayabiliyor mu? Sistemin insan incelemesi olmadan hangi aksiyonu alabileceğini ürün sorumlunuz onaylıyor.
  2. En küçük tam ürün yolunu geliştiriyoruz

    Hedef işi uçtan uca tamamlayan bir sürüm kuruyoruz. Grounding, retrieval veya araçları, daha yalın tasarımın işi karşılayamadığına dair kanıt gördüğümüzde ekliyoruz.

    Yapay zeka desteği
    Önerilen bileşen listesini model kapsam taşması açısından tarıyor. Mühendislik lideri hangi parçaların kalacağına karar veriyor.
    İnsan onayı
    Her mimari seçim kullanıcı işi için gerçekten gerekli mi? Eklenen her bileşeni yayından önce mühendislik lideriniz onaylıyor.
  3. Parçaların birleştiği yerleri test ediyoruz

    Arayüzü, modeli, veri yolunu, izinleri, geri dönüşü, latency'yi, maliyeti ve insan incelemesini temsili ve olumsuz vakalarla birlikte çalıştırıyoruz. Genel ortalamanın zayıf bir alanı gizlememesi için kritik kesitlere ayrı ayrı bakıyoruz.

    Yapay zeka desteği
    Görev hatalarını model kritik kesitlere göre grupluyor. Ürün ve değerlendirme uzmanları grupları doğrulayıp her kritik hatayı ayrıca inceliyor.
    İnsan onayı
    Kritik görevler, hataları ortalama puanın arkasına saklamadan geçiyor mu? Ürün sorumlunuz her kritik kesitteki hatayı yayından önce inceliyor.
  4. Yayını, işletmeye hazır sorumlularla açıyoruz

    Kontrollü aşamalar, daha geniş kullanımdan önce kalan istisnaları görünür kılıyor. Çalışma rehberini, izleme düzenini, karar geçmişini, geri alma yolunu ve işletme sorumluluklarını adı belli kişilere aktarıyoruz.

    Yapay zeka desteği
    Aşamalı yayın kanıtından çalışma rehberi ve istisna özetini model taslaklıyor. İşletme sorumluları taslağı gerçek çalışma koşullarına göre düzeltiyor.
    İnsan onayı
    Daha geniş yayından önce destekten, geri almadan ve ürün kararlarından kimin sorumlu olduğu belli mi? Destek, geri alma ve yayın sorumluluğunu adı belli bir kişi kabul ediyor.

Ekip, çalışan uygulamanın yanında nasıl kurulduğunu, hangi kanıtla yayına alındığını ve yayın sonrasında kimin neyi üstlendiğini gösteren kayıtları da devralıyor.

  • Model kartı

    Çalışan kullanıcı yolculuğu ürün çıktısı

    Durum, izin, geri dönüş, inceleme ve model davranışı uçtan uca bağlanmış, birlikte belirlediğimiz kullanıcı yolculuğu.

  • Mimari dokümanı

    Durum, kimlik ve veri akışı haritası

    Uygulama sınırlarını, veri ve kimlik yollarını, durum geçişlerini, model veya araç çağrılarını ve geri dönüş davranışını aynı izlenebilir tanımda topluyoruz.

  • Test kanıtı

    Kritik kesit sonuçları ve yayın kaydı

    Temsili ve olumsuz testleri, kabul sınırlarını, yayın yapılandırmasını, bilinen istisnaları, maliyet ve latency kanıtını içeriyor.

  • Playbook

    Yayındaki kapsamın işletme ve sorumluluk planı

    Yayındaki kapsam için izleme, destek, geri alma, olay, model değişikliği, veri yolu ve ürün kararı sorumluluklarını kayda bağlıyor.

Kullanıcı işi doğrulandıysa ve tek bir model yanıtının ötesinde durum, izin, geri dönüş, değerlendirme ve işletme sorumluluğu taşıyan tam bir ürün yolu gerekiyorsa bu çalışma devreye giriyor.

Şu durumlarda iyi bir seçim

  • Kullanıcı işi doğrulanıyor, ama ürün sorumlusu yayında kabul edeceği tek uçtan uca ürün yolunu henüz göremiyor.
  • Tek bir model yanıtı ayrı çalışıyor, ancak durum, izin, geri dönüş ve inceleme bütün kullanıcı yolculuğu boyunca bozuluyor.
  • Temsili vakalar bulunuyor, ama kimlik erişimi, entegrasyonlar ve yayın ölçütleri tek uygulama olarak birlikte test edilmiyor.
  • Kullanıcı yolculuğu kabul ediliyor, ancak uygulama durumu, geri dönüş, inceleme noktaları ve yetki sınırları adımlar arasında korunmuyor.
  • Grounding ve araçlar tasarıma varsayılan olarak giriyor, ama daha yalın ürün yolunun neden yetmediğini gösteren kanıt bulunmuyor.
  • Bileşenler ayrı ayrı kontrolden geçiyor, ancak kritik kesitleri aşamalı yayına ve işletme teslimine bağlayan uçtan uca değerlendirme yapılmıyor.
  • Seçilen workflow kimlik, veri yolu, model, maliyet ve latency riski taşıyor, ama bunların kontrolleri hâlâ farklı ekiplerde kalıyor.

Şu durumlarda başka bir çalışma daha doğru

  • Kullanıcı işi doğrulanmadan veya ürün sorumlusu belirlenmeden özellik geliştirmek istiyorsunuz. Önce ürün keşfi bu sınırı kapatmalı.
  • Uygulama verisinin onaylanmamış model veya depolama yollarından geçmesi gerekiyor. Önce veri yolu tasarımı ve yetkilendirme tamamlanmalı.
  • Zeo'nun izleme, destek ve geri alma görevlerini yayından sonra sahiplenmesini istiyorsunuz. Bu işletme sorumlulukları ayrı kapsam gerektiriyor.

Bunlardan biri sizin durumunuza daha yakınsa, buradan başlayın: AI uygulama geliştirmeyi inceleyin

  • OpenAI

    Ürün davranışını kurup test ettiğimiz model seçeneklerine OpenAI'ı dahil ediyoruz

  • Anthropic

    Claude'u aynı uygulama state'i ve kontrollerle alternatif model olarak test ediyoruz

  • LangChain

    Kullanıcı yolculuğundaki state, araç çağrıları ve veri yollarını LangChain ile bağlıyoruz

  • Pinecone

    Ürünün dayandığı veriyi Pinecone üzerinde yönetilen bir indekste tutuyoruz

  • Langfuse

    Model davranışını, kontrolleri ve değerlendirmeyi Langfuse'ta tek kayıtta izliyoruz

  • Guardrails AI

    Ürünün çıktı ve veri yolu kurallarını Guardrails AI ile yapısal olarak uyguluyoruz

Kullanıcı işini, temsili vakaları, sistem erişimini ve yayını kabul edecek ürün sorumlunuzu getirin.
Ürün dilimini planlayalım

Hangi girdi ve erişimler gerekir?

Doğrulanmış kullanıcı işi, ürün sorumlusu, temsili veri ve vakalar, sistem kısıtları, kimlik ve entegrasyon erişimi ile yayın ölçütleri gerekiyor. Veri yolundan, destek sürecinden ve sonraki aksiyonlardan sorumlu kişiler de yayından önce çalışmaya katılmalı. İşletme kararları lansman gününe birikmemeli.

AI agent'ları geliştirmede ne yapabilir?

Agent'lar onaylı ortamda test vakaları taslaklayabilir, izleri karşılaştırabilir, hataları gruplayabilir ve kaynak bağlantılı geliştirme ya da değerlendirme notları hazırlayabilir. Mühendisler vakaları doğrulayıp hataları teşhis ediyor. Hangi davranışın, modelin, veri yolunun veya yayın koşulunun değişeceğine ürün sorumluları karar veriyor.

Uygulamanın hazır olduğuna nasıl karar veriyoruz?

Kabul rubriğine göre görev başarısına, kullanıcı inceleme ve kabul oranına, kritik hata oranına, p95 latency'ye ve tamamlanan görev başına maliyete bakıyoruz. Arayüzün belirsizliği gizleyip gizlemediğini, verinin onaysız bir yola gidip gitmediğini ve production işletmesinin sorumlusuz bırakılıp bırakılmadığını da kontrol ediyoruz.

Çalışma hangi konuları açık bırakır?

Kusursuz çıktı, sabit maliyet, evrensel güvenlik ve kararlaştırdığımız yayın kapsamının ötesindeki işletme bu çalışmanın vaatleri arasında değildir. Model ve workflow davranışı zamanla değişebilir. Bu yüzden teslim paketinde izleme, geri alma, inceleme ve adı belli sorumlular yer alıyor, ama kalıcı bir garanti sunmuyor.