Bilgi temelli bir agent, kaynak otoritesini, çağıran kimliği, alıntı desteğini, cevap vermeme kararını ve aksiyon iznini bütün döngü boyunca ayrı kontrollerde tutuyor.

Bir iç doküman cevabı destekleyebilir ama sonraki aksiyona yetki vermez. Agent'ı adı belli kaynak sorumluları, kimliğe duyarlı retrieval, görünür alıntılar, güncellik ve cevap vermeme kuralları etrafında geliştiriyor, araç yetkisini ayrı bir kontrol yolunda tutuyoruz.

Sonuçta yanıtı, kaynak erişimi, cevap vermeme davranışı ve aksiyon yetkisi ayrı ayrı incelenip farklı sorumlular tarafından kabul edilebilen bir agent yolu alıyorsunuz.

Bilgi Temelli AI Agent'ları illüstrasyonu: bir yapay zeka ajanının araçlarını ve karar sınırlarını test eden ekip

Birlikte çalıştığımız 500'den fazla markadan birkaçı

Tüm referansları gör
  • Mustela
  • Madame Coco
  • Shiftdelete
  • eOfis
  • TransferGo
  • Wall Street English

Retrieval'ı kurmadan önce kaynak otoritesini netleştiriyoruz. Alıntı, güncellik, cevap vermeme, talimat işleme ve aksiyon izni ayrı ayrı test ediliyor.

  1. Kaynağı ve otoritesini kaydediyoruz

    Her kaynak sorumlusuyla birlikte hedef kitleyi, erişim kuralını, hassasiyeti, güncellik beklentisini ve o kaynağın destekleyebileceği iddia veya kararları kaydediyoruz.

    Yapay zeka desteği
    Model, sağladığınız malzemeden sorumlu incelemesi için kaynak girdileri taslak olarak hazırlıyor.
    İnsan onayı
    Kapsamdaki her kaynağın sorumlusu, hedef kitlesi, erişim kuralı ve izin verilen kullanımı var mı? Her girdinin izin verilen kullanımına ve güncellik kuralına kaynak sorumlusu karar veriyor.
  2. Retrieval'ı kimliğin etrafına kuruyoruz

    Veri alımını, retrieval'ı, bağlam oluşturmayı ve alıntıları çağıran kimliğe bağlıyoruz. Belirsizlik, cevap vermeme ve eski kaynak davranışı aynı çalışan dilimde ele alınıyor.

    Yapay zeka desteği
    Geliştirme sırasında model kimlik, erişim ve alıntı uyumsuzluklarını işaretliyor.
    İnsan onayı
    Her kimlik yalnızca işinin izin verdiği bilgiyi getirip destekleyen kaynağı gösterebiliyor mu? Her kimliğin retrieval ve erişim kurallarını platform sorumlunuz kabul ediyor.
  3. Aksiyondan önce desteği test ediyoruz

    Test seti desteksiz iddiaları, eksik alıntıları, çelişkili veya eski malzemeyi, yetkisiz retrieval'ı, talimat içeren dokümanları ve kanıtı onaysız bir aksiyona çevirme denemelerini kapsıyor.

    Yapay zeka desteği
    Çelişkili, eski ve talimat içeren vakalar modelden geliyor, sonra bir insan bunları inceliyor.
    İnsan onayı
    Agent, aksiyon iznini devralmadan cevap verebiliyor, cevapsız bırakabiliyor veya eskale edebiliyor mu? Kritik kaynak ve yetki hataları karar için agent sorumlunuza gidiyor.
  4. Güncellik ve istisna işini atıyoruz

    Teslimden önce inceleme, güncelleme, kullanımdan kaldırma, izleme, istisna ve eskalasyon görevlerini adı belli kişilere atıyoruz. Tartışmalı veya erişilemeyen malzeme için bir yol da belirliyoruz.

    Yapay zeka desteği
    Test sonuçları modele güncellik ve eskalasyon rehberi taslağı için girdi sağlıyor.
    İnsan onayı
    Bir kaynak eski, erişilemez, tartışmalı veya güvensiz olduğunda kim karşılık veriyor? Kaynak sorumlusu inceleme sıklığını, istisnaları ve karşılık yolunu kabul ediyor.

Dört çalışan kayıt alıyorsunuz. Kaynak otoritesi, retrieval tasarımı, test kanıtı ve süregiden güncellik sorumluluğu ayrı ayrı incelenebilir kalıyor.

  • Politika

    Kaynak otoritesi ve izinli kullanım kaydı

    Sorumluları, hedef kitleleri, erişim kuralları, otorite durumu, hassasiyeti, güncellik beklentileri ve izin verilen kullanımlarıyla onaylı kaynak seti.

  • Mimari dokümanı

    Kimlik, retrieval ve alıntı tasarımı dosyası

    Veri alımı, retrieval, bağlam oluşturma, kimlik, alıntılar, belirsizlik, cevap vermeme ve ayrı aksiyon izni yolu için çalışan tasarım.

  • Test kanıtı

    Kaynak desteği ve aksiyon yetkisi bulguları raporu

    Kaynak desteğini, yetkisiz retrieval'ı, eski malzemeyi, getirilen talimatları, alıntıları, cevap vermemeyi ve aksiyon yetkisini kapsayan olağan ve olumsuz vakalar.

  • Playbook

    Güncellik sorumluluğu ve kaynak istisnaları notları

    Teslimden sonra atanmış kaynak güncelleme, inceleme, kullanımdan kaldırma, izleme, istisna ve eskalasyon görevleri.

Değişen kurum bilgisiyle çalışan bir agent için uygun bir geliştirme. Özellikle kaynaklar otorite, hedef kitle, erişim veya güncellik açısından birbirinden ayrılıyorsa.

Şu durumlarda iyi bir seçim

  • Ekipler hangi iç dokümanın güncel olduğunda anlaşamıyor, bu yüzden agent bir kaynağı alıntılasa bile onun yetki taşıyıp taşımadığı bilinmiyor.
  • Retrieval yararlı malzemeyi buluyor, ama kimlik kuralları ve eski kaynak yönetimi yoldan yola değiştiği için aynı soru farklı davranıyor.
  • Kaynak sorumlusu otoriteyi tanımlayabiliyor, ama agent sorumlusu ortaya çıkan davranışı kabul etmek için bilgi temelli bir test izini göremiyor.
  • Kaynak girdileri hedef kitle ve erişimi gösteriyor, ama izin verilen kullanım ile güncellik beklentisi bunlara karar verecek sorumluya bağlanmıyor.
  • Veri alımı ve retrieval çağıran kimliği kullanıyor, ama alıntı, cevap vermeme ve eski kaynak davranışı bağlam boyunca tutarlı kalmıyor.
  • Getirilen dokümanlar agent döngüsüne talimat taşıyor, ama metnin komut gibi işlenmesini engelleyen kontrol henüz test edilmiyor.
  • Agent'ın yanıt testleri bulunuyor, ama kaynak desteği ile aksiyon izni birlikte puanlandığı için yetki hatası görünmeden geçebiliyor.

Şu durumlarda başka bir çalışma daha doğru

  • Bütün dokümanların eşit güvenilir sayılmasını istiyorsunuz. Her kimlik için onaylı kaynak ve erişim kuralı gerekiyor.
  • Destekleyici kanıtın tek başına araç yetkisi vermesini bekliyorsunuz. Agent'ın aksiyon izni, sorumlu onaylı ayrı bir kontrol yolunda kalıyor.
  • Teslimden sonra kaynak otoritesi kaydını güncellememizi veya production agent'ını işletmemizi istiyorsunuz. Bu sürekli görevler ayrı bir işletim kapsamı gerektiriyor.

Bunlardan biri sizin durumunuza daha yakınsa, buradan başlayın: AI agent geliştirme yaklaşımımızı görün

Zeo'nun kod yazıp teslim eden tarafı burası. Kıdemli mühendislerimiz agent, chatbot ve RAG sistemleri geliştiriyor, çevrelerindeki otomasyon ve veri işlerini üstleniyor, sistemler canlıya çıktıktan sonra da işletmeyi sürdürüyor. 2011'den beri 500'den fazla markayla çalıştık.

  • Cohere

    Benzer belgeler arasından yanıtı gerçekten destekleyeni yeniden sıralıyoruz

  • LlamaIndex

    Her içerik parçasını kaynağına ve kimlik kapsamına bağlıyoruz

  • Weaviate

    Kimliğin erişim kapsamını doğrudan vector sorgu katmanında uyguluyoruz

  • Voyage AI

    Doğru kaynağın bulunmasını uygun embedding modeli düzeyinde iyileştiriyoruz

  • Ragas

    Kaynağın iddiayı destekleyip desteklemediğini açıkça ölçülebilir hale getiriyoruz

  • Langfuse

    Her yanıtta kullanılan kaynak sürümünü çalışma iziyle kaydediyoruz

  • Lakera Guard

    Kaynak belgelerdeki zararlı gömülü talimatları modele ulaşmadan yakalıyoruz

Agent'ın hangi işi yapması gerektiğini, hangi kaynakların onu destekleyebileceğini ve erişime, güncelliğe ve aksiyon yetkisine kimin karar verdiğini anlatın. Her sınırı incelenebilir kılan en küçük yolu geliştirelim.
İlk kaynak setini tanımlayın

Gerçek işi destekleyebilen en küçük seti kullanın. Her kaynağın bir sorumlusu, hedef kitlesi, erişim kuralı, güncellik beklentisi ve izin verilen kullanımı olmalı. Erişilebilir olmak, bir iç depoyu tek başına otorite yapmaz.