RAG güvencesi · Kaynaktan atıfa test

RAG Güvenliği, Veri Sızdırma ve Zehirleme Testleri

RAG güvenlik testi, kaynak güveni ve erişim filtresinden veri alımı, retrieval, çıktı ve atıfa uzanan yetkili yolu izlemeli, her istisna adı belli bir sorumluya bağlanmalı.

Bir RAG yanıtı, kaynak, erişim filtresi, veri alım adımı, retrieval yolu, çıktı ve atıfta verilen güvenlik kararlarını taşıyor. Zehirlenme, manipülasyon ve sızdırma vakalarını yetkili sınır içinde bu zincir boyunca deniyoruz. Bulgular kanıtı, sorumlusu, istisna kararı ve yeniden testiyle bağlı kalıyor.

Elinizde test edilen RAG yoluna bağlı zehirlenme ve sızdırma bulguları, sınır envanteri, iyileştirme sonrası testler ve kalan risk listesi kalıyor.

RAG sınırınızı değerlendirelimAI güvenlik hizmetini inceleyin
RAG Güvenliği, Veri Sızdırma ve Zehirleme Testleri illüstrasyonu: bir yapay zeka sistemini güvenlik zayıflıkları için sınayan ekip

Birlikte çalıştığımız 500'den fazla markadan birkaçı

Tüm referansları gör
  • Arabam.com
  • Enerjisa
  • Milliyet
  • Doremusic
  • Hisar
  • Tatilsepeti

Adımlar, kapılar ve kararı verenler

Çalışma şeklimiz

Önce RAG sınırında neyin olduğunu ve test verisinin nasıl işleneceğini kararlaştırıyoruz. Her temsili hata vakasını kaynaktan atıfa kadar izliyor, iyileştirme kanıtını ilk bulguya bağlıyoruz.

  1. Kaynaktan çıktıya kapsamı yetkilendiriyoruz

    Kaynak güvenini, erişim filtrelerini, veri alımı ve retrieval yollarını, sızdırma endişelerini, atıf davranışını, bağımlılıkları, kısıtları, baseline kanıtını ve sonucu kabul edecek yetkiliyi kayda alıyoruz.

    Yapay zeka desteği
    Onaylı kaynaklar ve veri alım yolları envantere alınarak ilk sınır haritası taslağı hazırlanıyor.
    İnsan onayı
    Veri sorumlunuz sınırdaki kaynakları, filtreleri, retrieval yollarını, çıktıları ve kanıt kullanımını onayladı mı? Test edilebilecek kaynakları, erişim kurallarını ve retrieval yollarını veri sorumlunuz onaylıyor.

  2. Temsili hata vakalarını çalıştırıyoruz

    Onaylı ortamda zehirlenme, retrieval manipülasyonu, sızdırma ve atıf davranışı için incelenmiş vakaları çalıştırıyoruz. Yalnızca inceleme için gereken kontrollü girdileri ve gözlenen sonuçları saklıyoruz.

    Yapay zeka desteği
    Sabit veri ve aksiyon sınırları içinde bir agent onaylı vakaları çalıştırabilir ve sonuçları kaydedebilir.
    İnsan onayı
    Yetkili ikinci bir çalıştırma, bulguyu aynı RAG sınırı içinde tekrar üretebiliyor mu? Sızdırma ya da zehirlenme sonucu, ancak bir Zeo güvenlik uzmanı yeniden ürettikten sonra bulgu oluyor.

  3. Her istisnayı kaynağına bağlıyoruz

    Gözlenen davranışı kabul koşullarıyla karşılaştırıyoruz. İstisnayı etkilediği kaynağa, filtreye, veri alımı adımına, retrieval yoluna, çıktıya ya da atıfa bağlı tutuyoruz.

    Yapay zeka desteği
    Kanıt kaynak, filtre, veri alım adımı ve retrieval yoluna göre sıralanıyor, inceleyenin önüne konuyor.
    İnsan onayı
    Güvenlik lideriniz test edilen RAG durumunu kabul etmeden önce hangi doğrulanmış istisnalar kapanmalı? Güvenlik lideriniz, kabulden önce hangi doğrulanmış istisnaların iyileştirilmesi gerektiğine karar veriyor.

  4. Değişen yolu tekrarlıyoruz

    Değişiklikten sonra ilgili vakaları tekrar çalıştırıyor, yeni sonucu ilk kanıtın yanına ekliyoruz. Teslim kaydında kalan risk, sorumlu kişi, durma durumu ve sonraki inceleme tetikleyicisi yer alıyor.

    Yapay zeka desteği
    Onaylı iyileştirme kanıtından bir yeniden test özeti taslağı hazırlanıyor. Uzman bunu ilk bulguyla karşılaştırıyor.
    İnsan onayı
    Adı belli bir yetkili, hangi risklerin kabulü engellediğine, hangilerinin kalan risk olarak kabul edildiğine ve sonraki incelemeden kimin sorumlu olduğuna karar verdi mi? Belirlediğiniz sorumlu istisnanın kapandığına ya da kalan risk olarak açık kaldığına karar veriyor.

Adı konmuş, sizde kalan çıktılar

Elinize geçenler

Her teslimat kaynaktan ve erişim kararından başlayıp retrieval, çıktı, atıf, istisna ve yeniden teste uzanan aynı yolu izler.

  • Test kanıtı

    Zehirlenme, sızdırma ve iyileştirme bulguları paketi

    Kaynak güveni, erişim kontrolleri, veri alımının zehirlenmesi, retrieval manipülasyonu, sızdırma ve atıflar için doğrulanan bulguları yeniden test sonuçlarıyla birlikte içerir.

  • Risk kaydı

    Yetkili RAG sınırı ve bağımlılık envanteri

    Testin dayandığı onaylı kaynakları, temsili vakaları, bağımlılıkları, kısıtları, baseline kanıtını, varsayımları ve eksik girdileri bir arada tutar.

  • Rapor

    Kaynaktan atıfa kritik istisna bulguları

    İncelenen vakaları, kabul sonuçlarını, kritik istisnaları ve her sorunun etkilediği RAG sınırını gösterir.

  • Karar kaydı

    Kalan risk sorumluları ve inceleme listesi

    Test edilen kapsam için kabul sonucunu, koşulları, kalan riski, sorumlu kişileri ve bir sonraki inceleme ya da durdurma tarihini kaydeder.

Kapsam ve dürüst sınırlar

Bu çalışmanın size uyduğu durumlar

Retrieval ile gelen içerik erişim sınırını aşabiliyor, yanıtı değiştirebiliyor, veri açığa çıkarabiliyor ya da kullanıcıyı yanlış kaynağa yönlendirebiliyorsa bu çalışmayı seçebilirsiniz.

Şu durumlarda iyi bir seçim

  • Kaynak güveni, erişim filtresi, veri alımı, retrieval ve atıftan farklı ekipler sorumlu, bu yüzden RAG saldırı yolunun tamamını kimse üstlenmiyor.
  • Zehirlenme kaygısı incelemelerde tekrar ediyor, ama bozulmuş içeriğin veri alımından atıfa nasıl ilerlediğini yetkili bir vaka henüz sınamıyor.
  • Doğrulanan sızdırma veya zehirlenme sonucu birkaç sorumluya ulaşıyor, ama istisnayı kimin kapatacağı ya da kalan riski kimin kabul edeceği belli olmuyor.
  • Kaynaktan atıfa uzanan yol haritalanıyor, ama zehirlenme, retrieval manipülasyonu ve sızdırma vakaları yetkili her halkayı henüz denemiyor.
  • Temsili vakalar bulunuyor, ama bağımlılıklar, kısıtlar, baseline kanıtı ve gerçekçi hata yolları eksik kalıyor.
  • Kabul kontrolleri kritik istisnaları gösteriyor, ama iyileştirme sonrası testler, sorumlular ve kararın aktarımı birbirine bağlanmıyor.
  • Sınır kanıtı saklanıyor, ama inceleyenler bulguyu kontrollü girdiden etkilenen kaynağa, filtreye veya atıfa kadar izleyemiyor.

Şu durumlarda başka bir çalışma daha doğru

  • Zehirlenme, sızdırma ve atıf bulgularının sertifikasyon ya da düzenleyici kabulü belirlemesini istiyorsunuz. Denetim ve hukuki sonuç veri yetkilinizde kalıyor.
  • Gelecekteki her kaynak, veri alımı olayı, retrieval yolu veya yanıt için güvenlik ve doğruluk güvencesi arıyorsunuz, ama yalnızca yetkili vakalar test ediliyor.
  • Production işletimi, yeni veri edinimi veya iyileştirmenin uygulanmasını istiyorsunuz, çünkü çalışma yetkilendirilen RAG test sınırında tamamlanıyor.

Bunlardan biri sizin durumunuza daha yakınsa, buradan başlayın: AI güvenlik hizmetini inceleyin

Test ettiğimiz sistemleri kendimiz de işletiyoruz

Bir sistemi hiç ayakta tutmak zorunda kalmadıysanız onu iyi test etmek de zor. Biz production'da AI işletiyoruz, bu yüzden değerlendirme, güvenlik testi ve LLMOps çalışmalarımız gerçekte nelerin kırıldığını bilerek başlıyor. Ekibimiz kıdemli mühendislerden oluşuyor ve Zeo 2011'den beri müşteri projelerinde çalışıyor.

Bu konuda ürettiğimiz içerikler

YazıBurak PehlivanWebMCP Nedir? Agentic Web ve AI Ajanlarıyla Etkileşen Web SiteleriYazıYiğit KonurMCP Server Architecture: State Management, Security & Tool Orchestration

Kullandığımız araçlar

Bu işin arkasındaki araçlar

  • Promptfoo

    Retrieval pipeline'ını zehirlenme ve veri sızıntısına karşı doğrudan test ediyor

  • Lakera Guard

    RAG bağlamındaki veri sızdırma girişimlerini yanıt üretilmeden önce işaretliyor

  • Mindgard

    Doküman ve RAG agent'ları için sürekli red-team kampanyaları yürütüyor

  • Giskard

    RAG uygulamasının döndürdüğü sonuçları tekrarlanabilir taramalarla ayrı ayrı inceliyor

Sonraki adım

RAG riskini kaynaktan atıfa kadar izleyelim

Kaynak ve retrieval haritanızı, erişim kurallarını, bilinen kaygıları ve test sonucuyla harekete geçebilecek sorumluyu paylaşın. İnceleme, kaynaktan atıfa uzanan yolu izliyor.
RAG sınırını inceleyelim

Karar vermeden önce

Sık duyduğumuz sorular

RAG güvenlik testinden önce nelerin bilinmesi gerekiyor?

Kaynak güveni, erişim filtreleri, veri alım ve retrieval yolları, sızdırma kaygıları, atıf davranışı, kısıtlar ve veri işleme kuralları için yetkili bir görünümle başlıyoruz. Adı belirli sorumlular, temsili vakalar, baseline kanıtı ve sonucu kabul edecek kişi bu sınırı tamamlıyor.

İnceleme her kaynağı ve retrieval yolunu kapsıyor mu?

Yalnızca her kaynak ve yol açıkça yetkilendirilmiş kapsama giriyorsa. Diğer durumda temsili bir sınır belirliyor ve kapsamı raporda açıkça gösteriyoruz. Sonuç, test edilen kaynaklar, filtreler, veri alımı ve retrieval yolları, çıktılar ve atıflar için geçerlidir. Gelecekteki değişiklikler için yeni kanıt gerekir.

RAG kabul kararını hangi kanıtlar destekliyor?

Karar kaydında kabul sonuçları, kritik istisnaların durumu, üzerinde anlaştığımız sınırdaki kanıt kapsamı ve teslimin eksiksizliği birlikte yer alıyor. Ciddi boşlukları tek tek inceliyoruz. Genel geçiş sonucu, çözülmemiş bir zehirlenme, manipülasyon, sızdırma ya da atıf bulgusunu kapatamaz.

RAG bulgusu ne zaman kapanmış sayılıyor?

Bir RAG bulgusunu kapatmak için etkilenen vakayı yeniden çalıştırıyor, yeni kanıtı ilk kayda ekliyor ve belirlenen sorumlunun istisnayı kapattığını ya da kalan riski açık tuttuğunu kaydediyoruz.