Düşmanca kampanya · AI red teaming

Yapay Zeka Red Team Testi

AI red-team kampanyası ancak her saldırı yolu yetkilendiriliyor, her bulgu yeniden üretilebiliyor ve iyileştirmeden sonra aynı sınırlı yol yeniden test ediliyorsa anlamlı kalıyor.

Model, uygulama, veri, araçlar, kullanıcılar ve operasyonlardaki zayıflıkların bir saldırgan tarafından nasıl birleştirilebileceğini test ediyoruz. Önce kampanyayı ve durma koşullarını siz onaylıyorsunuz. Bulgular risk kaydına girmeden önce yeniden üretiliyor, üzerinde anlaşılan düzeltmeler aynı yollarla tekrar sınanıyor.

Doğrulanmış saldırı yolu bulguları, önem kararları ve sabit yol yeniden test paketi, yetkilinizin kapanan açıklıkları kabul edilen kalan riskten ayırmasını sağlıyor.

Bu çalışmayı konuşalımAna hizmeti inceleyin
Yapay Zeka Red Team Testi illüstrasyonu: bir yapay zeka sistemini güvenlik zayıflıkları için sınayan ekip

Birlikte çalıştığımız 500'den fazla markadan birkaçı

Tüm referansları gör
  • Aydem Perakende
  • Memorial
  • İstikbal
  • Isuzu
  • QNB Finansfaktoring
  • Neova Sigorta
  • Elele

Adımlar, kapılar ve kararı verenler

Çalışma şeklimiz

Her aşamada bir insanın inceleyebileceği kanıt bırakıyoruz. Yetkilendirme, önem seviyesi, istisna yönetimi, release ve kalan risk kabulü baştan sona insan kararı olarak kalıyor.

  1. Çalışma kurallarını imzalıyoruz

    Canlı sisteme dokunmadan önce çalışma kurallarını, saldırı hedeflerini, kapsamdaki yolları, kapsam dışını, kanıtın nasıl tutulacağını, güvenlik kontrollerini ve durdurma koşullarını birlikte netleştiriyoruz.

    Yapay zeka desteği
    Onaylı tehdit modelinden aday saldırı matrisi maddeleri çıkarılıyor. Güvenlik lideri bunları onaylıyor ya da eliyor.
    İnsan onayı
    Saldırı planı, yetkilendirilen hedefler, kanıt işleme kuralları ve durdurma yetkisi yazılı olarak onaylandı mı? Güvenlik lideriniz saldırı yollarını onaylıyor ve kampanyayı durdurabiliyor.

  2. Kampanyayı sistem katmanlarında yürütüyoruz

    Model, uygulama, veri ve araç katmanlarında manuel ve otomatik testleri onaylı matris içinde yürütüyoruz. Çalışma kurallarındaki durdurma koşulu oluşursa test orada kesiliyor.

    Yapay zeka desteği
    Onaylı kaynaklar yetkili çalışma alanında düzenlenebilir ve vaka varyasyonları hazırlanabilir. İkisini de bir uzman inceliyor.
    İnsan onayı
    Gözlenen davranış yetkili koşullar ve saklanan kanıtla yeniden üretilebiliyor mu? Bir sonuç bulgu sayılmadan önce Zeo uzmanı tarafından yeniden üretilip doğrulanır.

  3. Bulguyu puanlamadan önce doğruluyoruz

    Bir bulgu risk raporuna girmeden önce onu yeniden üretiyor, kanıtı koruyor, önem derecesini ve istismar zincirinin ne kadar ilerlediğini belirlediğimiz sınırlara göre inceliyoruz.

    Yapay zeka desteği
    Kayıtlı istismar zinciri kanıtı ilk önem seviyesi görüşünü destekliyor. Son puanı insan veriyor.
    İnsan onayı
    Üzerinde anlaşılan sınırlar doğrulanmış her bulguyu nereye koyuyor: geçer, koşullu geçer ya da başarısız? Atadığınız kişi her bulgu için son önem seviyesini ve kabul kararını veriyor.

  4. Düzeltilen yolları yeniden test ediyoruz

    İyileştirmeden sonra aynı onaylı yolları yeniden çalıştırıyor ve karar kaydını hazırlıyoruz. Neyin kabul edildiğine, neyin açık kaldığına ve kalan riskin ne olduğuna sorumlunuz karar veriyor.

    Yapay zeka desteği
    Onaylı yeniden test kanıtı ve atölye notları, sorumlunun inceleyeceği ilk karar özetine dönüştürülüyor.
    İnsan onayı
    Sorumlu kişi sınırları belli yeniden test sonucunu, kalan riski ve sonraki inceleme tarihini ya da olayını kabul etti mi? Sorumlunuz sonucu kabul ediyor ve neyin kalan risk olarak kalacağına karar veriyor.

Adı konmuş, sizde kalan çıktılar

Elinize geçenler

Kampanya sonunda neye izin verildiğini, hangi testin çalıştığını, hangi bulgunun yeniden üretildiğini ve her kararı kimin verdiğini gösteren sürümlü bir kayıt kalıyor.

  • Matris

    Yetkili kampanya kuralları ve saldırı yolu dosyası

    Onaylı hedefleri, kapsamdaki sistem ve yolları, kapsam dışını, güvenlik kontrollerini, durdurma koşullarını, kanıt kurallarını ve planlanan testleri gösteren matris.

  • Test kanıtı

    Yeniden üretim adımları ve teknik bulgu paketi

    Her doğrulanmış bulgu, yetkili mühendisin sonucu kontrol edebilmesi için sınırları belli kanıt ve yeniden üretim adımları içeriyor.

  • Risk kaydı

    Komite ve mühendislik için doğrulanmış bulgu raporları

    Risk komitesiyle düzeltmeyi yapacak mühendisler aynı doğrulanmış bulguları, ihtiyaç duydukları ayrıntı seviyesinde görür.

  • Atölye kaydı

    İyileştirme kararları ve yol yeniden test paketi

    Atölyede alınan kararlarla yeniden test kanıtı, hangi onaylı yolun kapandığını, hangisinin açık kaldığını ve hangisinin yeniden test dışında olduğunu gösterir.

Kapsam ve dürüst sınırlar

Bu çalışmanın size uyduğu durumlar

Red teaming yazılı yetkiyle başlıyor. Canlı testten önce hedefleri, güvenlik sınırlarını, durma koşullarını, kanıtın nasıl işleneceğini ve son yetkiyi netleştiriyoruz.

Şu durumlarda iyi bir seçim

  • Doğrulanmış bulgular risk kaydına giriyor, ama kalan riskin ne kadarının kabul edileceğine karar verecek yetkili kişi henüz adlandırılmıyor.
  • Tehdit modeliyle test ortamı var, ancak kapsamdaki sistemi yetkili bir saldırgan gibi uçtan uca deneyip kampanya kanıtını saklayan kimse bulunmuyor.
  • Canlı testin başlaması bekleniyor, ama önem derecesi sınırları, kapsam dışı alanlar, durdurma koşulları ve istisnalar yazılı olarak belirlenmiyor.
  • Canlı sistemlerde yetkili test gerekiyor, ancak çalışma kuralları, kampanya yolları ve güvenlik kontrolleri dağınık ya da yazısız kalıyor.
  • Model, uygulama, veri ve araç zayıflıkları ayrı ayrı inceleniyor, fakat onları tek saldırı yolu olarak bağlayan onaylı plan bulunmuyor.
  • Aday bulgular var, ama bunlar yeniden üretilmiyor, önem derecesi verilmiyor ve iyileştirmeden sonra hangi yolların tekrar sınanacağı bilinmiyor.
  • Test sırasında kapsam değişiyor ve durma olayları yaşanıyor, ancak insan onaylarıyla kalan risk izi sonradan yeniden kurulamıyor.

Şu durumlarda başka bir çalışma daha doğru

  • Kampanyadan hukuki, düzenleyici veya sertifikasyon onayı bekliyorsunuz. Bu kararlar yetkili uzmanlarınızda kalıyor.
  • Sistemin güvenli olduğuna dair genel bir iddia gerekiyor, oysa saldırı planı yalnızca yetkilendirdiğiniz yolları ve koşulları kapsıyor.
  • Her bulgunun kampanya sırasında düzeltilmesini bekliyorsunuz, ancak iyileştirme yalnızca doğrulama ve yeniden testin ötesinde ayrıca kapsamlanıyor.

Bunlardan biri sizin durumunuza daha yakınsa, buradan başlayın: Ana hizmeti inceleyin

Test ettiğimiz sistemleri kendimiz de işletiyoruz

Bir sistemi hiç ayakta tutmak zorunda kalmadıysanız onu iyi test etmek de zor. Biz production'da AI işletiyoruz, bu yüzden değerlendirme, güvenlik testi ve LLMOps çalışmalarımız gerçekte nelerin kırıldığını bilerek başlıyor. Ekibimiz kıdemli mühendislerden oluşuyor ve Zeo 2011'den beri müşteri projelerinde çalışıyor.

Bu konuda ürettiğimiz içerikler

YazıBurak PehlivanWebMCP Nedir? Agentic Web ve AI Ajanlarıyla Etkileşen Web SiteleriYazıYiğit KonurMCP Server Architecture: State Management, Security & Tool Orchestration

Kullandığımız araçlar

Bu işin arkasındaki araçlar

  • Promptfoo

    Düzeltme öncesi ve sonrasındaki risk durumunu Promptfoo ile CI üzerinde ölçüyoruz

  • Mindgard

    Model, agent ve uygulama katmanlarındaki saldırı yollarını Mindgard ile sürekli test ediyoruz

  • garak

    Özel saldırı testlerinden önce geniş LLM zayıflık kapsamını garak ile kuruyoruz

  • Lakera Guard

    Onaylanan red-team kapsamını Lakera Guard otomasyonuyla sürekli olarak çalıştırıp tarıyoruz

Sonraki adım

İlk saldırıdan önce kampanyanın kurallarını belirleyelim

Sistemi, yanıt aradığınız risk sorusunu ve sonuçla harekete geçecek sorumluyu paylaşın. Riske orantılı en küçük güvenli kampanyayı öneriyoruz.
Kampanyayı planlayalım

Karar vermeden önce

Sık duyduğumuz sorular

Başlamak için bizden ne istersiniz?

Onaylı kapsam ve mimariyi, tehdit modelini, korunan varlıkları, test kimliklerini ve araç erişimini, uygun bir ortamı ve iş etkisinden sorumlu kişiyi isteriz. Hassas girdilere dokunmadan önce kullanım amacını, erişim sınırını, saklama süresini ve hukuki ya da uyum koşullarını siz onaylarsınız.

AI agent'ları kampanyanın ne kadarını yürütebilir?

AI agent'ları yetkili çalışma alanında onaylı kaynakları düzenleyebilir ve vaka taslakları hazırlayabilir. Kaynakları, testleri ve etiketleri bir kararı etkilemeden önce uzmanlar inceliyor. Agent'lar kapsamı belirleyemez, durma koşulunu görmezden gelemez, son önem seviyesini veremez, risk kabul edemez ve release onayı veremez.

Kampanyanın bittiğini nereden anlarsınız?

Saldırı hedefi kapsamasına, yeniden üretilebilen yüksek önem dereceli bulgulara, istismar zinciri derinliğine ve yeniden testte kapanan iyileştirmelere bakıyoruz. Bu dört ölçüden birindeki kritik eksik, ortalamalar iyi görünse de kampanyayı açık tutabilir. Çalışma kuralları durmayı gerektiriyorsa testi kesiyoruz. Çıkış koşullarının karşılanıp karşılanmadığına adı belli yetkiliniz karar veriyor.

Red-team raporu neyi vaat etmiyor?

Rapor sistemin güvenli, mevzuata uyumlu ya da risksiz olduğunu vaat etmiyor. Hukuki, düzenleyici ve sertifikasyon kararları yetkili uzmanlarınızda kalıyor.