Bir agent prompt'ta sınırlı görünüp sonucu değiştiren bir tool iznini taşıyabiliyor. Kimlikler, MCP bağlantıları, tool sözleşmeleri, izinler, talimat sınırları ve yan etkiler bu yüzden tek sistem olarak test ediliyor.

Bir agent prompt'ta sınırlı görünürken sonucu değiştiren bir tool izni taşıyor olabilir. Kimlikleri, MCP bağlantılarını, tool sözleşmelerini, izinleri, talimat sınırlarını ve yan etkileri tek sistem olarak test ediyoruz. Yeniden üretilebilen bulgular istisna ve release kararları için güvenlik sorumlunuza dönüyor.

Güvenlik sorumlunuz istisna ve release kararını, istendiğinde yeniden üretilen bulgulardan veriyor. Her bulgu kendisine izin veren yetkiye kadar izleniyor ve düzeltmeden sonra yeniden test ediliyor.

Agent, Araç ve MCP Güvenlik Testleri illüstrasyonu: bir yapay zeka sistemini güvenlik zayıflıkları için sınayan ekip

Birlikte çalıştığımız 500'den fazla markadan birkaçı

Tüm referansları gör
  • Abdi İbrahim
  • Millenicom
  • Shiftdelete
  • Sina Pırlanta
  • Armut.com
  • S Sport Plus

Önce agent'ın yetkisini görünür kılıyoruz. Onaylı yolları saklanan kanıtla çalıştırıyor, iyileştirme sonrasında önemli istisnaları aynı sınırda tekrar değerlendiriyoruz.

  1. Aksiyon yolunu haritalıyoruz

    Agent ve MCP kimliklerini, araç sözleşmelerini, izinleri, prompt sınırlarını, yan etkileri ve bilinen istismar yollarını çıkarıyoruz. Sorumluları, bağımlılıkları, mevcut kısıtları ve dokunmamamız gereken alanları da aynı kayda ekliyoruz.

    Yapay zeka desteği
    Onaylı yapılandırmalar ve izin kayıtları sınır envanteri taslağında karşılaştırılıyor. Her kaydı bir uzman inceliyor.
    İnsan onayı
    Güvenlik sorumlunuz, haritalanan kimliklere, tool'lara, izinlere ve etkilere release kararı için güvenebilir mi? Teste girecek kimlikleri, araçları, yolları ve yan etkileri güvenlik sorumlunuz onaylıyor.
  2. Onaylı istismar yollarını yeniden üretiyoruz

    Yalnızca yetki verilen vakaları haritaladığımız sınır içinde çalıştırıyoruz. Agent'ın, MCP bileşeninin veya aracın ne yaptığını yeniden üretmek için girdi, izin, çıktı ve yan etki kanıtını saklıyoruz.

    Yapay zeka desteği
    Bilinen örüntüler ve onaylı tool bilgileri, yetkili vakaların sınırlı varyasyonlarının taslağını besliyor.
    İnsan onayı
    Yetkili bir inceleyen, aynı girdi ve izinlerle gözlenen davranışı yeniden üretebiliyor mu? Güvenlik lideriniz her istismar yolunu çalıştırmadan önce onaylıyor ve testi durdurabiliyor.
  3. İstisnayı nedenine bağlıyoruz

    Sonuçları kararlaştırdığımız kabul koşullarıyla birlikte okuyoruz. Kritik istisnaları ayırıyor, her bulguyu ilgili kimlik, sözleşme, izin, prompt sınırı veya yan etkiyle ilişkilendiriyoruz.

    Yapay zeka desteği
    Gözlenen sonuçlar kabul koşullarına göre gruplanıyor, olası kritik istisnalar incelemeye işaretleniyor.
    İnsan onayı
    Hangi doğrulanmış istisnalar kabulü engelliyor, hangileri açık bir kalan risk kararı gerektiriyor? Kabulü hangi istisnanın durduracağına görevlendirdiğiniz güvenlik uzmanı karar veriyor.
  4. Yalnızca değişeni yeniden test ediyoruz

    İyileştirmeden sonra yalnızca etkilenen ve onaylanan yolları yeniden çalıştırıyoruz. Teslim kaydında kabul edilen sonucu, kalan riski, sorumlu kişiyi ve sonraki inceleme noktasını gösteriyoruz.

    Yapay zeka desteği
    Onaylı yeniden test kanıtı, sorumlunun inceleyeceği özet ve karar kaydı taslağına dönüştürülüyor.
    İnsan onayı
    Sorumlu kişi kalan riski kabul etti mi, bir sonraki inceleme tarihini ya da durma koşulunu üstlendi mi? Kalan riski kurumunuzdaki yetkili sorumlu kabul ediyor ve teslim kaydını imzalıyor.

İnceleyen kişi onaylanan sınırı görebilir, bulguyu yeniden üretebilir ve açık kalan her istisnadan kimin sorumlu olduğunu anlayabilir.

  • Test kanıtı

    Agent-tool güvenlik bulguları ve yeniden testleri

    Kararlaştırılan agent kimlikleri, MCP bileşenleri, araç sözleşmeleri, izinler, prompt sınırları, yan etkiler ve istismar yolları için bulguları ve yeniden test sonuçlarını kaydeder.

  • Risk kaydı

    Baseline kanıtı ve açık kalan sorular

    Testte kullanılan onaylı girdileri, varsayımları, bağımlılıkları, mevcut kısıtları, baseline kanıtını ve cevapsız kalan soruları bir araya getirir.

  • Rapor

    Yürütülen yolların kaydı ve kritik istisnalar

    Onaylanan temsili vakaları, kabul sonuçlarını, kritik istisnaları ve etkilenen kimlikleri, araçları, izinleri veya yan etkileri kaydeder.

  • Karar kaydı

    Açık risklerin ve sorumlularının devir notu

    Kabul edilen sonucu, bağlı koşulları, kalan riski, yetkili sorumluları ve bir sonraki inceleme veya durma tarihini içerir.

Bir agent izinler ve MCP bağlantıları üzerinden veriye, tool'lara ya da dış sistemlere incelenmemiş tek bir aksiyon sınırı olmadan ulaşabiliyorsa bu çalışmaya ihtiyaç duyabilirsiniz.

Şu durumlarda iyi bir seçim

  • Platform, güvenlik ve agent ekibi izin setinin ayrı parçalarını verdiği için agent'ın gerçekte neye erişebildiğini tek bir kişi söyleyemiyor.
  • Endişe veren bir agent davranışı bir kez gösteriliyor, ama kimse onu istendiğinde yeniden üretemiyor ya da izin veren yetkiye kadar izleyemiyor.
  • Yayın bir güvenlik cevabını bekliyor, istisnayı onaylayacak kişi ise bir görüş değil yeniden üretilebilen kanıt istiyor.
  • Kimlikler, MCP bağlantıları, araç sözleşmeleri, prompt sınırları ve yan etkiler ayrı ayrı inceleniyor, ama hiçbiri tek bir yol olarak test edilmiyor.
  • Kısıtlar, bağımlılıklar ve bilinen istisnalar farklı kişilerin aklında duruyor, agent'ın bugünkü yetkileri için baseline kanıtı ise hiç toplanmıyor.
  • Bir istisna bir kez kabul ediliyor, ama düzeltmenin tuttuğunu mu yoksa istisnanın sadece konuşulmaz olduğunu mu gösterecek bir yeniden test bulunmuyor.
  • Kapsama iddia ediliyor, ama hangi kimliğin, MCP bileşeninin ya da araç sözleşmesinin test sınırının dışında kaldığını kimse gösteremiyor.

Şu durumlarda başka bir çalışma daha doğru

  • Buradan bir güvenlik sertifikası ya da denetim görüşü çıkmasını bekliyorsunuz. Rapor yeniden üretilebilen bulgular taşıyor, bu kararlar atadığınız yetkilide kalıyor.
  • Gelecekteki her agent eyleminin ve araç davranışının güvenli olduğunun yazılmasını istiyorsunuz. Test, çalıştığı gün var olan yetkileri ve yolları kapsıyor.
  • Düzeltmelerin uygulanmasını ve agent'ın sizin adınıza işletilmesini istiyorsunuz. İkisi de ayrıca kapsamlanmadıkça yetkili test sınırının dışında kalıyor.

Bunlardan biri sizin durumunuza daha yakınsa, buradan başlayın: AI güvenlik hizmetine bakın

Bir sistemi hiç ayakta tutmak zorunda kalmadıysanız onu iyi test etmek de zor. Biz production'da AI işletiyoruz, bu yüzden değerlendirme, güvenlik testi ve LLMOps çalışmalarımız gerçekte nelerin kırıldığını bilerek başlıyor. Ekibimiz kıdemli mühendislerden oluşuyor ve Zeo 2011'den beri müşteri projelerinde çalışıyor.

  • MCP-Scan

    Tool açıklamalarındaki gizli injection payload'larını MCP-Scan ile inceliyoruz

  • Mindgard

    Agent'ın tool-calling yüzeyini keşiften runtime'a sürekli test ediyoruz

  • Lakera Guard

    Test edilmiş agent sınırını Lakera ile production'da sürekli uyguluyoruz

  • Giskard

    Prompt injection, veri sızıntısı ve sycophancy risklerini sürekli tarıyoruz

Agent, MCP ve tool haritasını testi onaylayabilecek ve sonuçla harekete geçebilecek sorumluyla paylaşın. İnceleme bu yetkinin içinde kalıyor.
Testin kapsamını belirleyelim

Testten önce hangi girdilerin hazır olması gerekiyor?

Agent ve MCP kimlikleri, tool sözleşmeleri, izinler, prompt sınırları, temsili örnekler, kısıtlar, baseline kanıtı ve testi onaylayıp sonucunu kabul edecek kişi gerekiyor.

Her olası agent eylemi bu teste girebilir mi?

Hayır. Gerçeği temsil eden bir sınır ve kabul koşulları üzerinde anlaşıyor, hangi yolları test ettiğimizi tek tek gösteriyoruz. Bu örneklem gelecekteki bütün araç çağrıları, izin değişiklikleri, yan etkiler veya istismar yolları hakkında sonuç vermez.

Yayın kararını hangi kanıta göre veriyoruz?

Birlikte belirlediğimiz kabul kapısı sonuçlarına, her kritik istisnanın kapanış durumuna ve kimlikler, sözleşmeler, izinler, prompt sınırları, yan etkiler ile istismar yollarındaki kanıt kapsamasına bakıyoruz. Karar tesliminin de eksiksiz olması gerekiyor. Genel geçiş sayısı ne olursa olsun her kritik istisnayı ayrı değerlendiriyoruz.

Test edilen bir yol başarısız olursa ne yapıyoruz?

Kararlaştırılan koşul bunu gerektiriyorsa testi durduruyoruz. Davranışı yeniden üretmeye yetecek kanıtı saklıyor, etkilenen sınırı belirliyor ve istisnayı sorumlusuna iletiyoruz. İyileştirmeden sonra onaylanan yolu yeniden test ediyoruz. Kurumunuzun ne kadar kalan risk taşıyacağına yalnızca yetkili kişi karar verebilir.