RAG Hazırlığı ve Kaynak Korpus Değerlendirmesi

Bir korpus ancak örneklenen kaynaklar hedef soruları, kayıtlı yetki, erişim, güncellik, kapsam ve sorumluluk koşulları altında yanıtlayabildiğinde RAG geliştirmesine gerçekten hazır oluyor.

Kaynak envanteri dolu görünebilir ama önemli soruların karşılığı belgelerde bulunmayabilir. Korpustan örnek alıyor, erişimi ve yanıtlanabilirliği test ediyor, RAG geliştirmesinden önce tamamlanması gereken işleri çıkarıyoruz.

Elinizde hazırlık dosyası, önceliklendirilmiş korpus açıkları, iyileştirme sorumluları ve geliştirmeye geçme, use case'i daraltma ya da bekleme konusunda açık bir karar kalıyor.

Bu çalışmayı konuşalımAna hizmeti inceleyin
RAG Hazırlığı ve Kaynak Korpus Değerlendirmesi illüstrasyonu: bir doküman hattını bir getirim sistemine bağlayan ekip

Birlikte çalıştığımız 500'den fazla markadan birkaçı

Tüm referansları gör
  • A101
  • Red Bull
  • Güven Hastanesi
  • MNG Kargo
  • HangiKredi
  • Gusto
  • Lezzet

Adımlar, kapılar ve kararı verenler

Çalışma şeklimiz

Önce kullanıcıların sistemden beklediği soruları netleştiriyoruz. Bu soruları temsili kaynaklarda arıyor, açıkları kaydediyor ve her use case için ayrı bir hazırlık kararı çıkarıyoruz.

  1. Değerlendirme sınırını netleştir

    Hangi use case'leri değerlendireceğimizi, bunları temsil eden kaynakları, kaynaklardan sorumlu kişileri ve geliştirmeye geçiş kararını kimin vereceğini netleştiriyoruz.

    Yapay zeka desteği
    Sağladığınız malzemeden aday soruları ve kaynak türlerini kümeler.
    İnsan onayı
    Sorular, kaynaklar, sorumlu kişiler ve karar sınırı açık mı? Karar sınırını ve use case'leri bilgi sorumlunuz onaylar.

  2. Korpusu incele

    Örneklemde kaynak güvenilirliğini, erişimi, yapıyı, metadata'yı, kaliteyi, kapsamı, güncelliği ve yanıtlanabilirliği inceliyoruz. Eksik izin veya tartışmalı kaynak sorumluluğu açık olarak kayda geçiyor.

    Yapay zeka desteği
    Örneklem sırasında bulunan eksik kanıtı ve çelişen kaynak sorumluluğunu işaretler.
    İnsan onayı
    Örneklem önemli kaynak türlerini ve hata kesitlerini temsil ediyor mu? Hangi açığın gerçek olduğuna, hangisinin eksik kanıttan kaynaklandığına kaynak sorumlunuz karar verir.

  3. Hazırlığı ve istisnaları test et

    Gerçek sorular ve zor istisnalar, korpusun nerede yeterli kaldığını ve nerede dağıldığını gösteriyor. Önerilen use case'in incelenen kanıtın dışına sessizce taşınıp taşınmadığını da kontrol ediyoruz.

    Yapay zeka desteği
    Kanıtsız hazırlık iddialarını ortaya çıkarmak için olumsuz bilgi ihtiyacı vakaları üretir.
    İnsan onayı
    Hangi use case geçiyor, iyileştirmeyle geçiyor veya durmalı? Hangi use case'in geçtiğine, iyileştirme gerektirdiğine veya durması gerektiğine adı belli yetkiliniz karar verir.

  4. İyileştirme yolunu önceliklendir

    Korpus işlerini karar sırasına koyuyor, her kritik açığa bir sorumlu ve inceleme tarihi bağlıyoruz. İyileştirme, kapsamı daraltma, geliştirmeye geçme veya bekleme kararını yetkiliniz veriyor.

    Yapay zeka desteği
    İyileştirme maddelerini etkilenen use case'e göre bir öncelik taslağında sıralar.
    İnsan onayı
    Her kritik açığın sorumlusu ve bir sonraki inceleme noktası var mı? İyileştirme, kapsam daraltma, devam ya da durma kararını yetkiliniz verir.

Adı konmuş, sizde kalan çıktılar

Elinize geçenler

Sonuç, kullanılabilecek kaynak yollarını onarım isteyenlerden, daha dar bir use case gerektirenlerden ve kanıtı eksik kalanlardan ayırıyor.

  • Yol haritası

    RAG hazırlık dosyası ve korpus iyileştirme planı

    Use case bazında hazırlık kararı ile kaynak yetkisi, erişim, yapı, kalite, kapsam, güncellik ve yanıtlanabilirlik bulguları.

  • Risk kaydı

    Örneklenen korpus açıkları ve kaynak bağımlılığı envanteri

    Örneklenen kanıt, değerlendirme varsayımları, ekipler arası bağımlılıklar, açık sorular ve kritik istisnalar.

  • Test kanıtı

    Korpus hazırlığı ve kritik istisna bulguları

    Yanıtlanabilirlik, kapsam, güncellik, erişim ve diğer kritik korpus kesitlerini değerlendiren test vakaları ile bulgular.

  • Karar kaydı

    Kabul edilen hazırlık durumu ve inceleme listesi

    Kabul edilen hazırlık durumunu, iyileştirme koşullarını, sorumluları, açık riskleri ve bir sonraki inceleme tarihini kaydeder.

Kapsam ve dürüst sınırlar

Bu çalışmanın size uyduğu durumlar

Geliştirme fikri belli olduğu hâlde kaynakların niteliği, erişimi veya sorumluları net değilse önce bu değerlendirmeyi yapıyoruz.

Şu durumlarda iyi bir seçim

  • Öncelikli sorular ve kaynak sorumluları belli, ama temsili belgeler korpusun bu soruları yanıtlayabildiğini henüz göstermiyor.
  • Korpus envanteri dolu görünüyor, ama erişim, güncellik, kapsam veya yanıtlanabilirlik planlanan use case'leri yine de engelleyebiliyor.
  • Korpus iyileştirmeleri birikiyor, ama RAG geliştirmesine geçiş kararını verecek kişi sıralanmış bir iyileştirme yolu göremiyor.
  • Kaynak yetkisi ve erişim kayda giriyor, ama yapı, kalite, kapsam, güncellik ve yanıtlanabilirlik aynı değerlendirmede sınanmıyor.
  • Temsili kaynak türleri bulunuyor, ama bağımlılıklar ve kritik hata vakaları korpus hazırlık kanıtında görünmüyor.
  • Hazırlık testleri açıkları gösteriyor, ama iyileştirme öncelikleri, sorumlular ve geliştirme kararı tek kayıtta birleşmiyor.
  • Bir use case hazır işaretleniyor, ama korpus iyileştirme veya RAG geliştirmeye geçiş incelenen sınırı yine aşıyor.

Şu durumlarda başka bir çalışma daha doğru

  • Korpusun yanıtlanabilirlik bulgularını düzenleyici başvuru ya da denetim belirlemesi olarak kullanmak istiyorsunuz. Hukuki etki ile sertifikasyon kararı kendi uzmanlarınızda kalıyor.
  • Korpusun bugünkü ve gelecekteki her soruyu yanıtlamasını bekliyorsunuz, ama değerlendirme yalnızca örneklenen kaynakları ve hedef use case'leri kapsıyor.
  • Korpus iyileştirmesi, yeni veri edinimi veya production uygulaması istiyorsunuz, çünkü bu değerlendirme hazırlık tesliminde tamamlanıyor.

Bunlardan biri sizin durumunuza daha yakınsa, buradan başlayın: Ana hizmeti inceleyin

AI'ı production'a taşıyan mühendisler

Zeo'nun kod yazıp teslim eden tarafı burası. Kıdemli mühendislerimiz agent, chatbot ve RAG sistemleri geliştiriyor, çevrelerindeki otomasyon ve veri işlerini üstleniyor, sistemler canlıya çıktıktan sonra da işletmeyi sürdürüyor. 2011'den beri 500'den fazla markayla çalıştık.

Bu konuda ürettiğimiz içerikler

YazıDidem HimmetliVeri Analizinde Yapay Zeka Asistanlarının Gücünü En Üst Düzeye Çıkarma

Kullandığımız araçlar

Bu işin arkasındaki araçlar

  • LlamaIndex

    örnek corpus'u gerçek sorularla sınayan hızlı geçici index

  • Chroma

    örnek corpus'un test için yüklendiği hafif yerel vector store

  • Voyage AI

    retrieval hatasının corpus'tan mı modelden mi geldiğini ayırıyor

  • Ragas

    hazırlık kararının dayandığı ölçülebilir yanıtlanabilirlik puanını doğrudan üretiyor

  • Jupyter

    kanıt şeffaflığını herkesin yeniden çalıştırabileceği açık bir hesaplamaya dönüştürüyor

  • Label Studio

    belirsiz corpus kaygılarını kayda alınmış somut hatalara dönüştürüyor

Sonraki adım

Geliştirmeden önce korpusun neyi destekleyebildiğine karar verin

Öncelikli soruları, temsili bir kaynak örneğini ve bu kaynaklardan sorumlu kişileri paylaşın. Geliştirme kararını taşıyacak kapsamda bir hazırlık değerlendirmesi tasarlayalım.
Zeo ile konuşun

Karar vermeden önce

Sık duyduğumuz sorular

Hedeflenen bilgi ihtiyaçları, korpus envanteri, kaynakların yetkisi ve bunlardan sorumlu kişiler, erişim koşulları, sahadan örnekler, mevcut kısıtlar, baseline kanıtı ve sonucu kabul edecek yetkili gerekir. Hassas bir kaynağa amacını, erişim sınırını, saklama kuralını ve sorumlusunu tanımlamadan dokunmayız.