Bankanın güvenlik ekibi yapay zekâyı onaylamadan önce ne sorar?
· Ramazan Gülsen
Birlikte çalıştığımız her düzenlenen şirket büyük dil modellerini kullanmak istedi ve hepsi şirket geneline açmadan önce aynı duvara çarptı. Bu yazı, güvenlik ve uyum ekiplerinin istediklerini ve aynı soruyu Reddit'te r/LLMDevs topluluğuna sorduğumuzda öğrendiklerimizi bir araya getiriyor.
Duvar
Merkezi bir kontrol olmadan tablo her yerde aynıydı:
- Her ekibin kendi sağlayıcı API anahtarı vardı, toplu bir görünüm yoktu.
- Aylık fatura gelene kadar kimse tutarı bilmiyordu.
- Kimin hangi modele ne gönderdiğinin güvenilir bir kaydı yoktu.
- Güvenlik ekibi "birinin prompt'a müşteri verisi ya da bir şifre yapıştırmasını ne engelliyor?" diye sorduğunda iyi bir cevap yoktu.
Buradaki kullanım alanları kurum içi: destek ekibine yardımcı asistanlar, belge özetleme, yazılım ekiplerinin kod asistanları. Hiçbiri yapay zekânın ödeme ya da kredi kararı vermesiyle ilgili değil. Ama hassas veri sorusu tam da kurum içinde ortaya çıkıyor, çünkü insanlar müşteri kayıtlarını prompt'a yapıştırıyor.
Altı şart
Şirket geneline açmadan önce istenenler:
1. Tek bir iç uç nokta. Uygulamalar OpenAI uyumlu tek bir adrese bağlanır, sağlayıcı anahtarlarını hiç görmez. 2. Limit ve bütçe. Proje, API anahtarı, kullanıcı ve model başına limit; dolar cinsinden aylık bütçe. 3. Gizli bilgi taraması ve veri maskeleme. TCKN, IBAN gibi veriler istek ağdan çıkmadan yakalanır. 4. Kontroller modelden önce çalışır, engellenen istek hiçbir maliyet çıkarmaz. 5. Değiştirilemez denetim kaydı, güvenlik ekibinin zaten kullandığı SIEM'e gider. 6. Her şey kurumun kendi altyapısında, dışarıdaki bir SaaS üzerinden değil.
Sağlayıcıyla yapılan veri işleme sözleşmesi maskelemenin yerini tutmaz. Sözleşme sağlayıcının verdiği sözü kapsar; biri prompt'a IBAN yapıştırdığında kurumun kendi kayıtlarına düşeni kapsamaz.
Onayı aslında kim verir
Bir yorumcu, bir bankanın güvenlik ekibinin söz hakkı olmadığını, uyumu düzenleyicinin belirlediğini söyledi. Kuralları düzenleyici koyar, bu doğru. Ama belirli bir kurulumun bu kurallara uyup uymadığına bankanın içinde birinin karar vermesi gerekir; o da güvenlik ve uyum ekibidir. Yukarıdaki liste, bu ekiplerin onay vermeden önce istedikleridir; düzenlemenin yerine geçmez.
Denetim kaydı gerçek sorulara cevap vermeli
Denetçinin ilk gerçek sorusu genelde şudur: "Geçen çeyrekte engellenen bütün istekleri ve kimin denediğini göster." Kaydın buna cevap verip veremeyeceğini üç şey belirler:
- Politika sürümü. Kural çeyreğin ortasında değiştiyse, her karar o an kuralın hangi sürümünün geçerli olduğunu söylemelidir.
- Asıl kayıt yeri SIEM. Kayıt yalnız gateway'de durursa, gateway'in saklama süresi fark edilmeden denetim saklama süreniz olur.
- Silme işlemi de aynı zincirde. Süresi dolan kayıtları silmek, bir kaydın meşru bir sebeple ortadan kalkabildiği tek olaydır. Silme işleminin kendisi değiştirilemez kayda girmiyorsa, denetçinin ilk bulacağı açık budur.
Prompt metni saklanmalı mı?
Tartışmadan çıkan cevap: varsayılan olarak hayır. Soruşturma için prompt metnini saklamak, tam da soruşturmanın konusu olan veriyi elde tutmak demektir. Bunun yerine:
- Eşleşen metni değil, kararı kaydedin: hangi tür veriler bulundu, hangi kural devreye girdi, hangi politika sürümüyle. Bu, düzenleyicinin asıl sorusunu ("hangi tür veriler kurumun dışına çıktı?") verinin kendisini tutmadan cevaplar.
- Belgenin kendisini değil, parmak izini (hash) saklayın. Soruşturmaların çoğu birinin belgeyi getirmesiyle başlar; "bu dosya gönderildi mi?" sorusuna parmak izi yeter.
- Metin gerçekten gerekiyorsa süreli ve onaylı tam kayıt açın: tek bir proje için, belli bir süre, kayıtlı bir onayla. Süre dolumu bir ayar ekranında değil, verinin yazıldığı yerde uygulanmalı; toplanan metni kimin okuduğu da kayda geçmeli.
Denge açıkça şöyle: bazı sorulara cevap verememeyi kabul edersiniz, karşılığında o cevabı verecek veriyi elinizde tutmazsınız. Bu sınırlama denetim belgelerinde yazılı olmalı.
Kapsam bir ağ sorunudur
Gateway kendisini atlayan trafiği göremez. Kendi sağlayıcı anahtarını kullanan bir ekip ya da tarayıcıda bir sohbet uygulaması açan biri kayıtlarda hiç görünmez ve kayıtlar temiz görünür.
Çözüm ağ tarafındadır. Sağlayıcı API'lerine dışarı çıkışa yalnız gateway sunucularından izin verilir; böylece kişisel bir anahtar bir dizüstü bilgisayardan bağlanamaz. Tarayıcıdaki yapay zekâ uygulamaları kurumun proxy'sinde yönetilir: ya engellenir ya da bilerek izin verilir. Gateway'in işi, hangi ekiplerin gerçekten trafik gönderdiğini göstermektir. Bir çeyrek boyunca tek bir engelleme görmeyen ekip ya tertemizdir ya da gateway'den hiç geçmiyordur. Eski sağlayıcı anahtarlarının iptal takvimi de geçişin asıl planıdır.
Onayı ne geçersiz kılar
Onay belli varsayımlarla verilir ve bu varsayımları neyin bozacağını da söylemelidir. En sık örnek modelin kendisidir: sağlayıcılar aynı model adının arkasındakini değiştirebilir. Onay hangi model sürümünü kapsadığını yazmıyorsa, onay sessizce geçersiz hale geldiğinde kimse fark etmez.
Diğeri verinin nerede işlendiğidir. Bir sağlayıcının AB ya da yerel bölgesini seçmek, altyapıyı kimin işlettiğini değiştirmez; denetçinin sorusu "sunucu nerede" değil, "bunu kim işletiyor" olur. Türkiye'de aynı soru KVKK'nın yurt dışına veri aktarımı kuralları yüzünden çıkar. Bunu ya hep ya hiç diye görmemek bir seçenektir: dışarı çıkan her şeyi maskelemek ve en hassas projeleri kurum içinde çalışan modellerle sınırlamak.
BaseLLM bunları bugün nasıl karşılıyor
Yaptıkları:
- Denetim kaydı: Her istek birbirine zincirle bağlı denetim kaydına yazılır. İçinde kim, ne ve ne zaman var ama prompt metni yok; kayıt hiç silinmez.
- Karar kayıtları: Politika, kişisel veri ve prompt saldırısı kararları, kararı ve devreye giren kontrolü kaydeder. Varsayılan olarak 90 gün tutulur (ayarlanabilir) ve SIEM'e akar; uzun süreli saklama SIEM'in işidir.
- İstek kayıtları: Yalnız proje, anahtar, model, token ve süre tutulur.
- Maskeli örnek: Kişisel veri olayı kısa, maskelenmiş bir örnek tutabilir. Bu proje bazında bir ayardır (varsayılan kısmi, tam ya da kapalı). Kapalıyken yalnız türler ve sayılar kalır.
- Dış kayıt araçları: Metni Langfuse gibi araçlara göndermek proje bazındadır ve varsayılan olarak kapalıdır. Açık olduğunda bile metin maskelenmiş gider.
- Model erişimi: Her proje belirli modellerle sınırlanabilir; hassas bir proje yalnız kurum içindeki modellere bağlanabilir.
Henüz yapmadıkları:
- Politika sürümü: Kararlar o an geçerli olan politika sürümünü henüz kaydetmiyor. Bu yapılacaklar listemizde.
- Silme işlemleri: Saklama süresi işi silmeleri uygulama günlüğüne yazıyor, zincirli denetim kaydına değil. Bu da listemizde.
- Parmak izi ve süreli tam kayıt: Belge parmak izi ve süreli tam kayıt yok. Bir müşterinin denetimi gerektirene kadar yapmıyoruz. Bir prompt'un parmak izi içine yapıştırılan belgeyle nadiren eşleşir; süreli tam kayıt ise BaseLLM'in bugün bilerek saklamadığı metni saklamak demek olur.
Bir bankada, sigorta şirketinde ya da başka bir düzenlenen kurumda büyük dil modelleri çalıştırıyorsanız, denetçilerinizin ne istediğini duymak isteriz. BaseLLM'i kendi altyapınızda görmenin en kolay yolu 30 günlük değerlendirme.