Güven sınırlarını, kimlikleri, araçları, promptları, getirimi, veriyi, modelleri, yan etkileri ve kurtarma yollarını inceliyoruz. Bulgu ve yeniden test kanıtını saklıyoruz.

Birlikte çalıştığımız 500'den fazla markadan birkaçı. Kendi işimizi production'daki 100'den fazla AI workflow'u üzerinden yürütüyoruz.

Tüm referansları gör
  • Ülker
  • Neova Sigorta
  • Karel
  • Jollytur
Tehdit modellemeden mimari incelemeye, prompt saldırılarından agent ve RAG güvenliğine ve red team testlerine kadar 6 güvenlik sınırından seçim yapın.

Güvence Altına Alın ve İşletin

Yapay ZekaTehdit Modelleme

Veri, model, araç, kimlik, izin ve insanları güvenin değiştiği noktalardan geçirerek izliyoruz. Gerçekçi saldırgan hedeflerini ve kötüye kullanım durumlarını bir kontrole, çalıştırılabilir teste, sorumlu kişiye ve riski yeniden açacak koşula bağlıyoruz.

AI güvenlik sınırı henüz değiştirilebiliyorsa veri, model, araç, kimlik ve izin yollarını kontrollere bağlayan tehdit modellemeyle başlayın.

Prompt Enjeksiyonu veJailbreak Testi

Bir talimat kullanıcı mesajından gelebilir ya da sistemin retrieval ile aldığı bir belgenin içinde durabilir. Her iki yolu uygulama, promptlar, politikalar, araçlar, izinler, korunan veri ve sonraki aksiyonlar boyunca izliyoruz. Doğrulanan her atlatmayı kontrollü bir kayıtla gösteriyor, yeniden testte gündelik geçerli istekleri de çalıştırıyoruz.

Güvenilmeyen talimat kullanıcıdan veya retrieval belgesinden araçlara ve korunan veriye ulaşabiliyorsa prompt enjeksiyonu ile jailbreak testini seçin.

Yapay Zeka RedTeam Testi

Model, uygulama, veri, araçlar, kullanıcılar ve operasyonlardaki zayıflıkların bir saldırgan tarafından nasıl birleştirilebileceğini test ediyoruz. Önce kampanyayı ve durma koşullarını siz onaylıyorsunuz. Bulgular risk kaydına girmeden önce yeniden üretiliyor, üzerinde anlaşılan düzeltmeler aynı yollarla tekrar sınanıyor.

Bir saldırganın model, uygulama, veri, araç ve operasyon zayıflıklarını zincirlemesini yetkili kampanyada sınamak istiyorsanız AI red team çalışmasına yönelin.

Güvenli Yapay ZekaMimarisi İncelemesi

Mimari diyagramlarında bir sınırın izole, loglanan ya da kurtarılabilir olduğu sık söyleniyor. Bu iddiaları kimlikler, veri, modeller ve araçlar boyunca izliyor, tek bir kararlaştırılmış tasarım durumu için bulunan kanıtla karşılaştırıyoruz. Açık istisnalar sorumluları ve kapanış için gereken kontrollerle birlikte geri dönüyor.

Production öncesi mimari iddialarının kimlik, veri, model, araç, izolasyon, loglama ve kurtarma kanıtıyla doğrulanması gerekiyorsa güvenli mimari incelemesini seçin.

Agent, Araç veMCP Güvenlik Testleri

Bir agent prompt'ta sınırlı görünürken sonucu değiştiren bir tool izni taşıyor olabilir. Kimlikleri, MCP bağlantılarını, tool sözleşmelerini, izinleri, talimat sınırlarını ve yan etkileri tek sistem olarak test ediyoruz. Yeniden üretilebilen bulgular istisna ve release kararları için güvenlik sorumlunuza dönüyor.

Agent’ın MCP bağlantıları ve tool izinleri sonucu değiştirebiliyorsa kimlik, sözleşme, yan etki ve kalan riski birlikte test edin.

RAG Güvenliği, Veri Sızdırmave Zehirleme Testleri

Bir RAG yanıtı, kaynak, erişim filtresi, veri alım adımı, retrieval yolu, çıktı ve atıfta verilen güvenlik kararlarını taşıyor. Zehirlenme, manipülasyon ve sızdırma vakalarını yetkili sınır içinde bu zincir boyunca deniyoruz. Bulgular kanıtı, sorumlusu, istisna kararı ve yeniden testiyle bağlı kalıyor.

RAG güvenlik kararınız zehirlenme, retrieval manipülasyonu veya veri sızdırma ihtimaline dayanıyorsa kaynaktan atıfa uzanan yetkili yolu test edin.

Saldırı yolları prompt, getirim kaynağı, araç yetkisi, kimlik, veri akışı, üçüncü taraf, kullanıcı arayüzü ve sistemin alabileceği aksiyonlar üzerinden ilerler.

Adversaryal testlere başlamadan önce varlıklar, saldırganlar, güven sınırları, olası kötüye kullanım, test yetkisi, güvenlik sınırları ve kanıt işleme konusunda uzlaşırız.

Korunan varlıklar, saldırgan modeli, güvenlik sınırları ve durdurma koşulları test başlamadan önce kararlaştırılıyor.

Korunan varlıklar, sistem durumu, saldırgan bakışı, izin verilen erişim, olası kötüye kullanım yolları, kanıt işleme, durdurma koşulları ve sonucu kabul etme yetkisi olan kişi üzerinde uzlaşıyor; ardından mevcut mimari, veri, izinler, prompt'lar, araçlar, kontroller, olaylar ve bağımlılıklardan başlangıç görünümünü çıkarıyor, bilinmeyenleri bilinmeyen olarak işaretli bırakıyoruz. Kararlaştırılan inceleme ya da test yolu onaylı sınır içinde çalışıyor ve yazılı eşiklere göre değerlendiriliyor; kapsam değişikliği yürütme sırasında karara bağlanmıyor, yetkilendirmeye geri dönüyor. Yeniden test kapsamdaysa değişen yollar tekrar çalıştırılıyor; devirde neyin kapandığı, neyin açık kaldığı ve neyin yeni bir incelemeyi tetikleyeceği yazılı oluyor.

Sınırları belirli kanıttan karara yaşam döngüsü
  1. Kararı ve sınırı tanımlayın

    İş büyümeden önce hedef sonucu, kullanıcıları, sorumluları, kısıtları, kanıtı ve kabul yetkisini belirleyin.
  2. Başlangıç seviyesini kurun

    Temsili sistem, veri, iş akışı, hata ve mevcut kontrolleri inceleyin. Bilinmeyenleri geçmiş kontrol gibi göstermeyin.
  3. En küçük yeterli müdahaleyi tasarlayıp test edin

    Seçenekleri karşılaştırın, sınırları belirli kapsamı geliştirin veya değerlendirin ve kritik vakaları uzlaşılan kanıt kapılarına göre test edin.
  4. Karar verin, devredin ve kanıtı saklayın

    Kabulü, istisnaları, kalan riski, sahipliği, işletme sorumluluklarını ve sonraki inceleme tetikleyicisini kaydedin.

Zeo'da operasyonda çalışan her danışmanın güvenli LLM erişimi ve eğitimi var, AI günlük işin içinde duruyor. Beşi AI Bootcamp'imizden geçti ve neyin değişmesini beklediğini yazdı.

Ozan Ketenci
zeo-logo-yuvarlak.png

Generative AI, günlük hayatımızı ve temas ettiği her sektörü değiştirebilecek çok büyük bir potansiyele sahip. Teknoloji geliştikçe yaratıcılık, problem çözme ve inovasyon tarafındaki kullanım alanları da genişliyor. Gerçekçi görsel, video ve müzik üretiminden ilaç araştırmalarına ve tasarıma kadar birbirinden oldukça farklı alanlar bunun içinde yer alıyor. Bu kapsamın büyümeye devam edeceğini ve birçok sektörde derin bir etki yaratacağını düşünüyorum. E-ticaret, sağlık, finans ve başka sektörler, generative AI'ı ilgi çekici ve kişiselleştirilmiş deneyimler oluşturmak, iş süreçlerini optimize etmek için kullanabilecek.

Benzersiz içerik ve çözümler üretebilmesi yeni olasılıkların önünü açacak, verimliliği artıracak.

Ozan Ketenci

Samet Özsüleyman
zeo-logo-yuvarlak.png

Generative AI, SEO ve dijital pazarlamayla birlikte başka sektörleri de dönüştürme potansiyeline sahip ve yakın gelecekte hayatımızda önemli bir rol oynayacak. Kişiselleştirilmiş deneyimler, daha etkili pazarlama, veriyi daha hızlı yorumlama ve daha hızlı aksiyon alma gibi kullanım biçimleri göreceğiz. Ürün ve hizmetler gelişecek, müşteri iletişimi gibi iş süreçleri daha verimli hale gelecek. Bu gelişmelere ayak uyduramayan kurumlar, AI'ı işine dahil eden şirketlerin gerisinde kalacak.

Kendi sektörünüzde kullanabileceğiniz AI uygulamalarını vakit kaybetmeden planlamaya başlamalısınız.

Samet Özsüleyman

Hande Parmaksız
zeo-logo-yuvarlak.png

Generative AI'la birlikte bilgisayar devrimi kadar etkili olabilecek bir dönüşüme tanıklık ediyoruz. Bu, iş hayatı ve endüstriler için tarihi bir an. Bugün çoğumuz için teknoloji hâlâ ChatGPT gibi büyük generative AI arayüzlerini işte veya günlük hayatta kullanmakla sınırlı görünüyor. Oysa bu, teknolojinin potansiyelinin yalnızca yüzeyi. Modelleri içerik üretiminin ötesinde kendi workflow'larına ve müşteri süreçlerine dahil eden işletmeler, önümüzdeki yıllarda çok büyük rekabet avantajları elde edecek.

Generative AI'ın en kısa sürede tüm yönetim kurullarının gündemine girmesi gerektiğine inanıyorum.

Hande Parmaksız

Can Mutioğlu
zeo-logo-yuvarlak.png

AI'ı bugün ve geleceğin en heyecan verici teknolojisi olarak görüyorum. Potansiyelinin sınırsız olduğuna inanıyorum. Henüz buzdağının görünen kısmındayız. AI hızla gelişiyor ve farklı sektörlerde neler yapabileceğinin önemli bir bölümü hâlâ keşfedilmiş değil. Dijital işlerde şimdiden büyük bir etki yarattı, ilerleyen yıllarda başka endüstrileri yeniden şekillendiren atılımlar göreceğiz.

AI'ın potansiyeli büyümeye devam edecek. Hiçbir sektör verimlilik ve ilerleme açısından sunduğu bu fırsatı göz ardı edemez. Her yeni adımda başka boyutlar keşfedecek ve AI'ın doyum noktası olmadığını göreceğiz.

Can Mutioğlu

Ezgi Gülsen Yaylı
zeo-logo-yuvarlak.png

Büyük teknoloji şirketlerinin generative AI alanındaki çalışmalarının önümüzdeki yıllarda çok daha geniş bir etki yaratması muhtemel. Sanat ve tasarım gibi yaratıcı sektörlerde, ayrıca sağlık ve finans gibi hassas alanlarda yeni çalışma biçimlerinin ortaya çıkmasını bekliyorum. Teknoloji günlük hayata girdikçe etik ve risk sorularını da beraberinde getiriyor. Yeni gelişmeleri yakından takip edip deneyimleyebilmek, generative AI'ı benim için son yılların en heyecan verici potansiyeli haline getiriyor.

Gelecekte generative AI'ın toplumun yararına daha fazla kullanıldığını görmeyi sabırsızlıkla bekliyorum.

Ezgi Gülsen Yaylı

Modeller, retrieval, değerlendirme ve gözlemlenebilirlik çalışan bir sistemin ayrı katmanları. Bu sistemleri kurup işlettiğimiz araçlar bunlar.

Modeller ve bulut platformları

  • Microsoft Azure AIAzure üzerinde çalışan sistemlerde izolasyon, loglama ve kurtarma iddialarını gerçek rol atamaları ve ağ ayarlarıyla kontrol ediyoruz. Mimari diyagramdaki etiketleri kanıt olarak kabul etmiyoruz. Microsoft Azure AI, güvenlik sınırının pratikte nasıl uygulandığını görmemize yardımcı oluyor.
  • NVIDIA AISelf-hosted sistemlerde saldırı yüzeyini yalnızca model endpoint'iyle sınırlamıyoruz. NVIDIA'nın serving ve GPU altyapısını uygulama ve model katmanlarıyla birlikte inceliyoruz. Böylece altyapının altında kalan güvenlik risklerini de değerlendirmeye dahil ediyoruz.
  • Amazon Web ServicesSistem AWS üzerinde çalışıyorsa IAM politikalarını, ağ sınırlarını ve audit geçmişini doğrudan inceliyoruz. Diyagramda izole veya loglanıyor olarak gösterilen bileşenlerin gerçekte aynı kontrollerle korunup korunmadığını kontrol ediyoruz. AWS hesap verileri, güvenlik değerlendirmesinin temel kanıtını oluşturuyor.

Agent ve otomasyon framework'leri

  • PromptfooAI Red Teaming, Prompt Injection & Jailbreak Testing ve RAG Security Testing çalışmalarında Promptfoo'yu ortak probe altyapısı olarak kullanıyoruz. Yetkili saldırı corpus'unu bir kez oluşturup düzeltme sonrasında aynı seti yeniden çalıştırıyoruz. Böylece güvenlik iyileşmesini farklı testlerle değil, sabit koşullarda ölçüyoruz.
  • MCP-ScanAgent, Tool & MCP Security Testing kapsamında bağlı MCP server'larını ve tool açıklamalarını MCP-Scan ile inceliyoruz. Genel güvenlik araçlarının okumadığı tanım katmanındaki gizli prompt injection yüklerini arıyoruz. Agent tool'u çağırmadan önce riskli bağlantıları görünür hale getiriyoruz.

Retrieval, embedding ve hafıza

  • PineconeRAG Security, Data Exfiltration & Poisoning Testing çalışmalarında yetki atlama ve zehirli içerik testlerini gerçek retrieval store üzerinde çalıştırıyoruz. Pinecone'un metadata ve izin filtrelerini doğrudan hedefliyoruz. Böylece uygulamanın kullanıcılar arasında veri ayırma kuralını production yüzeyinde test ediyoruz.
  • QdrantKurum vector index'ini kendi altyapısında çalıştırıyorsa RAG güvenlik testlerini Qdrant üzerinde yürütüyoruz. Pinecone yerine, müşterinin erişim modelini gerçekten uygulayan store'u hedefliyoruz. Böylece test ortamını production mimarisiyle uyumlu tutuyoruz.

Değerlendirme ve gözlemlenebilirlik

  • Patronus AIPrompt Injection & Jailbreak Testing ve AI Red Teaming çalışmalarında yalnızca özel saldırı örneklerimize güvenmiyoruz. Patronus AI'ın standart güvenlik değerlendirmelerini bağımsız bir referans noktası olarak çalıştırıyoruz. Böylece kurumun özel risklerini daha geniş bir benchmark ile karşılaştırıyoruz.
  • LangfuseRAG Security Testing ve Agent, Tool & MCP Security Testing sırasında bir bulgunun retrieval ve tool çağrılarından nasıl geçtiğini Langfuse trace'leriyle izliyoruz. Düzeltme öncesi ve sonrasında aynı adımların kaydını karşılaştırıyoruz. Bu sayede saldırı yolunu yorumla değil, kesin çalışma sırasıyla yeniden üretiyoruz.
  • DatadogSecure AI Architecture Review kapsamında izleniyor veya kurtarılabilir olarak tanımlanan bileşenleri Datadog geçmişiyle kontrol ediyoruz. Gerçek alarm, log ve olay kayıtlarının varlığını inceliyoruz. Böylece diyagramdaki monitoring kutusunu tek başına kanıt olarak kabul etmiyoruz.
  • TraceloopAI Threat Modeling sırasında diyagramda tanımlanan sınırları production'daki gerçek çağrı yollarıyla karşılaştırıyoruz. Traceloop trace'leri, sistemin canlı ortamda hangi bileşenlerden geçtiğini gösteriyor. Varsayılan kontrolün gerçek sistemi kapsamadığı durumları böylece erken yakalıyoruz.

Güvenlik ve güvenlik testi

  • GiskardAgent, Tool & MCP Security Testing, Prompt Injection & Jailbreak Testing ve RAG Security Testing çalışmalarında bulguları Giskard üzerinde tekrarlanabilir hale getiriyoruz. Her risk için aynı davranışı yeniden üreten bir test vakası oluşturuyoruz. Böylece düzeltme sonrasında sorunun gerçekten kapandığını aynı koşullarda kontrol ediyoruz.
  • Guardrails AIAgent, Tool & MCP Security Testing ve Secure AI Architecture Review kapsamında Guardrails AI'ı belirtilen aksiyon ve çıktı sınırlarında çalıştırıyoruz. Sözleşme dışı isteklerin çalışmadan önce reddedilip reddedilmediğini test ediyoruz. Böylece diyagramdaki okun gerçekten bir kontrol noktası olup olmadığını doğruluyoruz.
  • Lakera GuardPrompt injection, RAG veri sızıntısı, agent kötüye kullanımı ve mimari sınırlar için test ettiğimiz kontrolleri Lakera Guard ile canlı trafikte uyguluyoruz. Bir sınırın testte geçmesi, production'da korunması için tek başına yeterli olmuyor. Runtime katmanı, değerlendirme döngüleri arasında aynı kuralı sürekli çalıştırıyor.
  • MindgardAI Red Teaming çalışmalarında saldırganın model, veri, tool ve operasyon zayıflıklarını birlikte kullanacağını varsayıyoruz. Mindgard ile bu katmanları kapsayan birleşik saldırı yollarını çalıştırıyoruz. Düzeltme sonrasında aynı kampanyayı yeniden yürüterek riskin kapandığını kontrol ediyoruz.
  • garakAI Red Teaming ve Prompt Injection & Jailbreak Testing çalışmalarına garak'ın güncel probe kütüphanesiyle başlıyoruz. Bilinen güvenlik açığı ailelerinden hangilerinin sistemde başarılı olduğunu önce bu setle görüyoruz. Özel çalışmayı tekrar keşif yerine henüz test edilmemiş alanlara yönlendiriyoruz.
  • IriusRiskAI Threat Modeling ve Secure AI Architecture Review çalışmalarında sistemi metin, doküman, user story ve kod üzerinden IriusRisk'e aktarıyoruz. Araç önce güncel diyagramı oluşturuyor, ardından kurallarıyla tehdit modelini çıkarıyor. Mimari değiştikçe modelin de sorgulanabilir ve güncel kalmasını sağlıyoruz.
Otomatikleştirmek istediğiniz iş akışını, operasyonel darboğazı veya kullanım senaryosunu paylaşın. Net bir yapay zekâ uygulama planı kuralım.
Projenizi anlatın