Mimari güvencesi · Kanıt incelemesi

Güvenli Yapay Zeka Mimarisi İncelemesi

Diyagramlar bir sınırın izole, loglanan ya da kurtarılabilir olduğunu iddia ediyor. Biz bu iddiaları tek bir kararlaştırılmış tasarım durumu için kimlikler, veri, modeller ve araçlar boyunca izleyip mevcut kanıtla karşılaştırıyoruz.

Mimari diyagramlarında bir sınırın izole, loglanan ya da kurtarılabilir olduğu sık söyleniyor. Bu iddiaları kimlikler, veri, modeller ve araçlar boyunca izliyor, tek bir kararlaştırılmış tasarım durumu için bulunan kanıtla karşılaştırıyoruz. Açık istisnalar sorumluları ve kapanış için gereken kontrollerle birlikte geri dönüyor.

Açık istisnalar sorumlularıyla ve kapanış için gereken kontrolle birlikte dönüyor. Hangisinin kabul edileceğine, hangisinin erteleneceğine mimari ve risk sorumlularınız karar veriyor.

Mimariyi birlikte inceleyelimAI güvenlik hizmetine bakın
Güvenli Yapay Zeka Mimarisi İncelemesi illüstrasyonu: bir yapay zeka sistemini güvenlik zayıflıkları için sınayan ekip

Birlikte çalıştığımız 500'den fazla markadan birkaçı

Tüm referansları gör
  • Shell
  • LC Waikiki
  • D&R
  • MNG Kargo
  • Sporx
  • Duru
  • Teyit.org

Adımlar, kapılar ve kararı verenler

Çalışma şeklimiz

Önce mimari sürümünü sabitliyor, önemli her güvenlik iddiasını bulabildiğimiz desteğe bağlıyoruz. Her bulgu bir sorumluyla ve yeni inceleme için somut koşulla birlikte kalıyor.

  1. İnceleme için tek mimari durumunu sabitliyoruz

    Güven sınırları, kimlikler, izinler, veri akışları, model ve araç erişimi, izolasyon, loglama ve kurtarma için güncel diyagramları ve kayıtları bir araya getiriyoruz. Eksik ya da çelişkili belgeleri de açık birer inceleme maddesi olarak tutuyoruz.

    Yapay zeka desteği
    Model, onaylı diyagramları yapılandırma kayıtlarıyla karşılaştırıyor ve ikisinin ayrıştığı noktaları işaretliyor.
    İnsan onayı
    Kararlaştırdığımız sınır, karar açısından önemli olan bütün sistemleri, sorumluları ve bağımlılıkları içeriyor mu? Mimari sorumlunuz, kararlaştırılan görünümün önemli sistemleri kapsadığını onaylıyor.

  2. Her tasarım iddiasını neyin desteklediğine bakıyoruz

    Tasarım iddialarını temsili örneklerle, mevcut kısıtlarla, baseline kanıtıyla ve bilinen istisnalarla birlikte okuyoruz. Hangi kaynağın neyi desteklediğini kaydediyor, varsayım olarak kalan noktaları açıkça işaretliyoruz.

    Yapay zeka desteği
    Onaylı kanıt her mimari iddiasının yanına yerleştiriliyor, eksik destek görünür bırakılıyor.
    İnsan onayı
    Erişebildiğimiz kanıt hangi iddiaları destekliyor, hangileri hâlâ varsayıma dayanıyor? Kanıtın yeterli olup olmadığına veya iddianın varsayım olarak kalmasına inceleme liderimiz karar veriyor.

  3. Gerçekçi tasarım hatalarını çalışıyoruz

    Erişim, izolasyon, loglama, kurtarma, modeller, araçlar ve veri akışları için temsili hata senaryolarını ele alıyoruz. Her bulguda etkilenen sınırı, baktığımız kanıtı ve verilmesi gereken kararı ayrı ayrı gösteriyoruz.

    Yapay zeka desteği
    Onaylı mimari görünüm, uzmanların inceliyeceği taslak hata senaryolarının sınırlarını veriyor.
    İnsan onayı
    Hangi kritik istisna iyileştirme gerektiriyor, hangisi için kayıtlı bir risk kararı alınmalı? Hangi bulgunun iyileştirme veya kayıtlı bir risk kararı gerektirdiğini uzman doğruluyor.

  4. Kapanışın neye benzeyeceğini tanımlıyoruz

    Her açık bulguya bir sorumlu, kabul koşulu ve kapanışta aranacak kanıt ekliyoruz. Ardından mimari ve risk sorumlularınız her bulguyu kabul ediyor, reddediyor veya erteliyor.

    Yapay zeka desteği
    Üzerinde anlaşılan kapanış koşulları, sorumluların inceleyeceği ilk yeniden test planına dönüştürülüyor.
    İnsan onayı
    Her açık maddenin sorumlusu ve onu kapatacak somut kanıt belli mi? Her bulgunun kabul, ret veya erteleme kararını mimari ve risk sorumlularınız veriyor.

Adı konmuş, sizde kalan çıktılar

Elinize geçenler

İnceleyen kişi bir bulgudan dayandığı kanıta gidebilir, açık istisnayı görebilir ve kapanış için hangi adımın beklendiğini kontrol edebilir.

  • Mimari dokümanı

    Güvenlik mimarisi bulguları ve yeniden test planı

    Güven sınırları, kimlikler, veri akışları, model ve araç erişimi, izolasyon, loglama ve kurtarma bulgularını, açık maddelerin yeniden test yolunu birlikte kaydeder.

  • Risk kaydı

    İncelenen kaynaklar ve kanıt bekleyen iddialar

    İncelediğimiz kaynakları, kullandığımız varsayımları, sistem bağımlılıklarını, mevcut kısıtları ve cevapsız kalan soruları bir araya getirir.

  • Rapor

    Hata vakası notları ve açığa çıkan boşluklar

    Kabul görüşmesine giren temsili inceleme vakalarını, ele alınan kanıtı, istisnaları ve kritik boşlukları gösterir.

  • Karar kaydı

    Kabul edilen ve ertelenen bulguların kapanış dosyası

    Kabul edilen ve ertelenen bulguları, sorumlu kişileri, kalan maruziyeti ve kararın yeniden gözden geçirileceği ya da durdurulacağı tarihi kaydediyor.

Kapsam ve dürüst sınırlar

Bu çalışmanın size uyduğu durumlar

AI tasarımı production'a ulaşmadan önce ya da canlı tasarımda modellerin, verinin, kimliklerin ve araçların birbirleriyle nasıl çalıştığı değiştikten sonra bu incelemeyi alabilirsiniz.

Şu durumlarda iyi bir seçim

  • Aynı sistemin iki diyagramı birbirini tutmuyor, hangisinin güncel olduğuna karar verebilecek kişiler ise ayrı ekiplerde duruyor.
  • Model ya da araç erişimi son incelemeden sonra değiştiği için izolasyon, loglama ve kurtarma o günden beri tek sistem olarak incelenmiyor.
  • Yayını durdurabilecek biri var, ama ondan bir diyagrama bakarak karar vermesi isteniyor, sınırın tuttuğunu gösteren kanıta değil.
  • Güven sınırları, kimlikler, izinler, veri akışları ve model ile araç erişimi ayrı ekiplerce çiziliyor, hiçbiri tek bir sayfada buluşmuyor.
  • Tasarım izolasyon, loglama ve kurtarma iddia ediyor, ama şu an çalışan sürüm için her iddiayı hangi kanıtın desteklediğini kimse sormuyor.
  • İnandırıcı hata vakaları tasarımdan hiç geçirilmediği için kabul koşulları ve istisna sorumluları hâlâ örtük kalıyor.
  • Her bulgunun tanımlı bir kapanış koşuluna ihtiyacı var, ama bugün hangi kanıtın ya da kontrol değişikliğinin onu yeniden incelettireceği yazmıyor.

Şu durumlarda başka bir çalışma daha doğru

  • Mimarinin uyumlu olarak onaylanmasını istiyorsunuz. Tek bir tasarım durumu için kanıtın neyi desteklediğini raporluyoruz, o karar yetkili uzmanınızda kalıyor.
  • Tasarımın güvenli olduğuna ya da kalan risk bulunmadığına dair garanti arıyorsunuz. İnceleme kanıtı iddialara karşı okuyor, ikisini de vaat edemiyor.
  • Bulguların düzeltilmesini ve sistemin sizin adınıza işletilmesini istiyorsunuz. İkisi de bu incelemeden ayrı bir kapsam olarak konuşuluyor.

Bunlardan biri sizin durumunuza daha yakınsa, buradan başlayın: AI güvenlik hizmetine bakın

Test ettiğimiz sistemleri kendimiz de işletiyoruz

Bir sistemi hiç ayakta tutmak zorunda kalmadıysanız onu iyi test etmek de zor. Biz production'da AI işletiyoruz, bu yüzden değerlendirme, güvenlik testi ve LLMOps çalışmalarımız gerçekte nelerin kırıldığını bilerek başlıyor. Ekibimiz kıdemli mühendislerden oluşuyor ve Zeo 2011'den beri müşteri projelerinde çalışıyor.

Bu konuda ürettiğimiz içerikler

YazıBurak PehlivanWebMCP Nedir? Agentic Web ve AI Ajanlarıyla Etkileşen Web SiteleriYazıYiğit KonurMCP Server Architecture: State Management, Security & Tool Orchestration

Kullandığımız araçlar

Bu işin arkasındaki araçlar

  • Amazon Web Services

    AWS üzerindeki sınır iddialarını hesabın gerçek yapılandırmasıyla kontrol ediyor

  • Microsoft Azure AI

    Azure üzerindeki sınır iddialarını gerçek kimlik ve ağ ayarlarıyla sınıyor

  • Datadog

    İzleme ve kurtarma iddialarını geçmiş alert ve log kayıtlarıyla doğruluyor

  • IriusRisk

    Metinden sistem diyagramı üretiyor ve threat model'i buradan çıkarıyor

  • Lakera Guard

    Diyagramdaki guardrail katmanını gerçek saldırılarla test edilebilir hâle getiriyor

  • Guardrails AI

    Diyagramdaki çıktı sınırında schema doğrulamasını doğrudan sistem üzerinde çalıştırıyor

Sonraki adım

Her mimari iddiasını kanıtının yanına koyalım

Güncel sistem görünümünü, bilinen istisnaları ve neyin değişeceğine ya da açık kalacağına karar verme yetkisi olan sorumluları paylaşın. Önemli her iddiayı arkasındaki kanıtla inceliyoruz.
Mimariyi inceleyelim

Karar vermeden önce

Sık duyduğumuz sorular

Mimari inceleme için hangi belgeler gerekir?

Önce güven sınırlarının, kimliklerin, izinlerin, veri akışlarının, model ve araç erişiminin, izolasyonun, loglamanın ve kurtarmanın güncel görünümünü istiyoruz. Bu görünümün yanında sorumlular, temsili örnekler, mevcut kısıtlar ve baseline kanıtı da olmalı. Eksik veya çelişkili belgeleri, durumları açıkça işaretlendiği sürece incelemeye dahil edebiliriz.

Mimari tamamlanmadan incelemeye başlayabilir miyiz?

Evet. Production öncesindeki bir tasarımı da değişmekte olan bir sistemi de inceleyebiliriz. Bunun için hangi sürüme baktığımızı sabitlememiz, açık varsayımları listelememiz ve her bulgunun tasarımı nasıl etkileyeceğine kimin karar vereceğini bilmemiz gerekir.

İnceleme ne zaman teslim edilebilir duruma gelir?

Kararlaştırdığımız mimari yüzeylerde yeterli kanıt kapsaması bulunmalı, her kritik istisna ayrıca ele alınmalı ve bütün bulguların bir sorumlusu ile karar durumu olmalı. İncelemenin geri kalanı olumlu olsa bile erişim, izolasyon, loglama, kurtarma veya başka önemli bir sınırdaki ciddi açık kayıtta kalır.

Mimari inceleme hangi sonuçları kanıtlayamaz?

Canlı sistem davranışını, kalıcı güvenliği, hukuki uyumu veya kalan risk bulunmadığını kanıtlayamaz. Kayıt yalnızca incelediğimiz mimari sürümünü, o sırada erişebildiğimiz kanıtı, açık kalan istisnaları ve değişikliklerden sonra yapılması gereken kontrolleri kapsar.