AI yönetişim incelemesi · Risk ve etki

Yapay Zeka Risk ve Etki Değerlendirmesi

Etki değerlendirmesi, olası zararı etkilenen gruplara ve sorumlulara kadar izlerken gözlenen kanıtı, çıkarımı, azaltımı ve yetkili kararını çalışma boyunca birbirinden ayrı tutuyor.

Sistem ilerlemeden önce ne yapması amaçlandığını, öngörülebilir biçimde nasıl kullanılabileceğini ya da kötüye kullanılabileceğini ve kimleri etkileyebileceğini kayda geçiriyoruz. Olası her zararı mevcut kanıta, kontrollere, azaltımdan sorumlu kişiye ve kalan riske karar verme yetkisi olan kişiye bağlıyoruz.

Etkilenen grup dosyası, azaltım tablosu ve açık kabul koşulları, belirlediğiniz yetkiliye kalan risk hakkında izlenebilir bir karar zemini doğrudan sunuyor.

Değerlendirmeyi konuşalımAI yönetişimine göz atın
Yapay Zeka Risk ve Etki Değerlendirmesi illüstrasyonu: bir yönetişim çerçevesinde yapay zeka politikasını ve risk kontrollerini inceleyen ekip

Birlikte çalıştığımız 500'den fazla markadan birkaçı

Tüm referansları gör
  • Halk Yatırım
  • Canbebe
  • Joker
  • Yatsan
  • Teyit.org
  • Jollytur

Adımlar, kapılar ve kararı verenler

Çalışma şeklimiz

Kanıtı, çıkarımı, azaltımı ve kabul kararını çalışma boyunca ayrı tutuyoruz. Bu ayrım belirsizliği görünür bırakıyor, olumlu bir toplam puanın önemli bir açık zarar yolunu gizlemesini önlüyor.

  1. Kararı ve etki sınırını sabitliyoruz

    İncelediğimiz sistem kararını, amaçlanan ve öngörülebilir kullanımları, etkilenen grupları, kanıt erişimini ve kalan riski kabul etmeye yetkili kişiyi birlikte belirliyoruz. Henüz ulaşamadığımız görüşleri de sınır kaydına ekliyoruz.

    Yapay zeka desteği
    Onaylı kullanım açıklamaları, paydaş grupları ve kaynak listeleriyle bir sınır taslağı hazırlanıyor. Sistem sorumlusu taslağı düzeltiyor.
    İnsan onayı
    Kullanımlar, etkilenen gruplar ve kanıt erişimi, sistem sorumlunuzun onayladığı sınırla örtüşüyor mu? Sistem sorumlunuz, hangi kullanımların ve etkilenen grupların değerlendirmeye gireceğine karar veriyor.

  2. Her zararın sistemdeki yolunu izliyoruz

    Paydaş kanıtını amaçlanan kullanım, kötüye kullanım ve veri akışları üzerinden olası zararlara kadar izliyoruz. Yolun doğrudan kanıta mı, bir çıkarıma mı yoksa henüz temsil edilmeyen bir görüşe mi dayandığını işaretliyoruz.

    Yapay zeka desteği
    Paydaş girdileri ve bilinen durumlar, uzman incelemesine sunulacak olası zarar yolları altında kümeleniyor.
    İnsan onayı
    Hangi etkilenen grubun görüşü hâlâ eksik ya da değerlendirmeyi sürdürmek için fazla zayıf? Hangi paydaş görüşü için hâlâ doğrudan kanıt gerektiğine sistem sorumlunuz karar veriyor.

  3. Risk seviyesini ve kontrol kanıtını sorguluyoruz

    Önemli her zarar için olasılığı, etkiyi, mevcut kontrolleri, kanıta duyulan güveni ve önerilen azaltımın sorumlusunu inceliyoruz. Kanıt güven veren bir seviyeyi desteklemiyorsa belirsizlik inceleme seviyesini yükseltebilir.

    Yapay zeka desteği
    Mevcut kontrol kanıtı her zararın yanına yerleştiriliyor, kanıta duyulan güven notları inceleyici için görünür bırakılıyor.
    İnsan onayı
    Kanıt bu seviyeyi destekliyor mu, yoksa belirsizlik nedeniyle incelemeyi genişletmek mi gerekiyor? Kanıtın belirlenen seviyeyi destekleyip desteklemediğine veya konunun üst yetkiye taşınması gerekip gerekmediğine yetkiliniz karar veriyor.

  4. Kalan riski kayda geçiriyoruz

    Kanıt elveriyorsa önemli bulguları yeniden deniyor ve sonucu kaydediyoruz. Açık koşulları, azaltım sorumlularını ve yeniden değerlendirme tetikleyicilerini kalan risk kararını verecek yetkiliye sunuyoruz.

    Yapay zeka desteği
    Yeniden deneme bulguları, açık koşullar ve azaltım sorumluları kullanılarak yetkilinin inceleyeceği ilk kalan risk kaydı hazırlanıyor.
    İnsan onayı
    Belirlenen yetkili kalan riski kabul etti, koşula bağladı ya da reddetti mi, yeni değerlendirmeyi başlatacak tetikleyiciyi belirledi mi? Belirlediğiniz yetkili kalan risk kararını veriyor ve yeniden değerlendirme tetikleyicisini onaylıyor.

Adı konmuş, sizde kalan çıktılar

Elinize geçenler

Teslimat seti, gözlemlediğimiz kanıtı, yaptığımız çıkarımları, bugün var olan kontrolleri, önerilen azaltımları ve hâlâ yetkili kararı bekleyen soruları birbirinden ayırıyor.

  • Rapor

    Etkilenen gruplar ve kontrol kanıtı dosyası

    Amaçlanan kullanımları, etkilenen grupları, zarar senaryolarını, kontrol incelemesini, kanıta duyulan güveni ve açık kalan soruları tek kayıtta topluyor.

  • Matris

    Paydaş ve zarar senaryosu haritası

    İncelemeye alınan kişileri, iş akışlarını, kullanımları, kötüye kullanım yollarını, veri akışlarını ve olası zararları gösteriyor.

  • Risk kaydı

    Azaltım sorumluları ve yeniden inceleme tablosu

    Önemli riskleri, mevcut kontrolleri, azaltım adımlarını, sorumlu kişileri, kanıtı, durumu ve yeniden değerlendirme tetikleyicilerini tutuyor.

  • Karar kaydı

    Kalan risk koşulları ve yetkili onay özeti

    Kararı, kabul edilen koşulları, açık riskleri, yetkili kişiyi, inceleme tarihini ve durma ya da yeniden değerlendirme tetikleyicilerini kaydediyor.

Kapsam ve dürüst sınırlar

Bu çalışmanın size uyduğu durumlar

Lansman ya da önemli bir değişiklik yaklaşmışken etkilenen gruplar, zarar yolları veya kalan riske kimin karar vereceği hâlâ belirsizse bu değerlendirmeye ihtiyaç duyabilirsiniz.

Şu durumlarda iyi bir seçim

  • Sistem insanları veya kararları etkiliyor, ama olası zararı izlemek için gereken bazı paydaş görüşleri değerlendirmede hâlâ eksik kalıyor.
  • Bilinmeyenler düşük risk gibi okunuyor, bu yüzden zayıf kanıt ciddi bir zarar yolunu gereken üst incelemeye taşımadan bırakabiliyor.
  • Azaltımlar planda yer alıyor, ancak sistem ya da kanıt değiştiğinde kimin harekete geçeceğini söyleyen sorumlu ve tetikleyici bulunmuyor.
  • Amaçlanan kullanım belgeleniyor, fakat öngörülebilir ve kötüye kullanım senaryoları sistemden etkilenen gruplara kadar izlenmiyor.
  • Etkilenen paydaşlar adlandırılıyor, ama veri akışlarıyla sistem kararlarından olası zarara giden yollar henüz çıkarılmıyor.
  • Olasılık ve etki seviyeleri var, ancak kontrol kanıtını ve her seviyeye duyulan güveni birlikte inceleyen kimse bulunmuyor.
  • Azaltım adımları öneriliyor, ama sorumlular, kalan risk yetkisi ve yeniden değerlendirme tetikleyicileri aynı kayıtta bulunmuyor.

Şu durumlarda başka bir çalışma daha doğru

  • Kalan risk kaydının hukuki, düzenleyici, denetim veya sertifikasyon yetkisi taşımasını bekliyorsunuz. Zarar yollarını kayda geçiriyoruz, kararı yetkili uzmanınız veriyor.
  • Sistemin tamamen güvenli ya da risksiz olduğuna dair beyan gerekiyor, oysa belirlenmemiş zarar ve belirsizlik ihtimali açık kalıyor.
  • Azaltımların bu inceleme içinde kurulmasını veya işletilmesini bekliyorsunuz, ancak değerlendirme sorumlular ve kapanma koşulları belirlendiğinde bitiyor.

Bunlardan biri sizin durumunuza daha yakınsa, buradan başlayın: AI yönetişimine göz atın

Tavsiye veren ekip aynı zamanda kuruyor

Zeo 2011'den bu yana 500'den fazla markayla çalıştı. AI'ın işinizin neresine uyup neresine henüz uymadığına karar verirken aynı masada, production'da AI sistemleri kuran ve işleten kıdemli mühendisler ve stratejistler oturuyor. Verdiğimiz tavsiye de gerçekten çalışan sistemlerden gelen deneyime dayanıyor.

Bu konuda ürettiğimiz içerikler

YazıYiğit KonurMCP Server Safety: Human-in-the-Loop Controls & Risk Assessment

Kullandığımız araçlar

Bu işin arkasındaki araçlar

  • Anthropic

    Zarar senaryolarının ilk taslaklarını Anthropic ile hazırlayıp gerçek kanıtlarla doğruluyoruz

  • Datadog

    Mevcut güvenlik kontrollerinin production'daki gerçek davranışını Datadog log'larıyla inceliyoruz

  • Hugging Face

    Model kartlarını ve veri seti dokümanlarını Hugging Face üzerinden doğruluyoruz

  • Giskard

    Öngörülebilir kötüye kullanım risklerini Giskard ile yeniden üretilebilir testlere dönüştürüyoruz

  • Guardrails AI

    Önerilen risk azaltma kontrollerinin zararlı çıktıları engellediğini Guardrails AI ile doğruluyoruz

  • Jupyter

    Olasılık ve etki şiddeti hesaplamalarını Jupyter üzerinde yeniden çalıştırılabilir kılıyoruz

Sonraki adım

Etki kararını izlenebilir bir kayda bağlayalım

Sistem görünümünü, paydaş kanıtını, mevcut kontrolleri ve karar yetkisi olan kişiyi paylaşın. Bildiklerimizi açık kalanlardan ayırıyoruz.
Riskleri değerlendirelim

Karar vermeden önce

Sık duyduğumuz sorular

Etki değerlendirmesi için hangi kanıtlar gerekiyor?

Amaçlanan ve öngörülebilir kullanımları, sistem ve veri akışlarını, paydaş görüşlerini, mevcut kontrolleri, olay geçmişini, azaltımlardan sorumlu kişileri ve kalan riske karar verme yetkisi olan kişiyi paylaşın. Eksik kanıt kayıtta açık kalabilir. Boşluğu tahminle doldurmuyoruz.

AI değerlendirmeye ne katabilir?

AI, onaylı kanıtı düzenleyebilir, senaryo kapsamını karşılaştırabilir ve uzman incelemesi için vaka taslakları hazırlayabilir. Kimin etkilendiğine karar veremez, risk seviyesi atayamaz, hukuku yorumlayamaz ya da bir azaltımı tamamlanmış sayamaz.

Değerlendirme karara ulaşmadan önce neyin doğru olması gerekiyor?

Etkilenen gruplar ve önemli durumlar incelemeye yetecek ölçüde temsil edilmeli. Her risk seviyesinin kanıta duyulan güveni açıkça yazılmalı. Yüksek öncelikli azaltımların sorumluları ve kontrol edilebilir kapanma koşulları bulunmalı. Ağır ve çözülmemiş bir zarar yolu, ortalama sonuç olumlu görünse de önemini koruyor.

Bu değerlendirme sistemin güvenli olduğunu kanıtlar mı?

Kayıt, üzerinde anlaşılan kapsam için yetkili kişinin kararını besliyor. Kalan risk, belirsizlik ve henüz belirlenmemiş zarar ihtimali görünür kalmaya devam ediyor.