Başlarken
Nasıl çalışır
Her istek, uygulama ile model sağlayıcısı arasında BaseLLM'den geçer. Limitler ve taramalar model çağrılmadan önce çalışır; reddedilen istek için maliyet oluşmaz.
Bir isteğin yolu
Kontroller aşağıdaki sırayla değerlendirilir. Reddedilen istek modele hiç gitmez; karar kaydı yine yazılır.
| Adım | İşlem | Durursa |
|---|---|---|
| 1. Kimlik | API anahtarından proje, başlıktan kullanıcı bulunur | 401 |
| 2. Prompt injection | Modele yönelik talimat taraması (projede açıksa) | 403 |
| 3. Tarama | Gizli anahtar ve kişisel veri taraması | 403 |
| 4. Yanıt önbelleği | Önbellek açıksa ve cevap varsa istek burada önbellekten döner | — |
| 5. Limitler | Proje, API anahtarı ve kullanıcı limitleri | 429 ya da 400 |
| 6. Model seçimi | Öncelik sırasında limiti müsait ilk model; akıllı yönlendirme açıksa basit soru önce ucuz modele | 429, scope: llm |
| 7. Model çağrısı | Sağlayıcı hatasında yedek model (açıksa) | — |
| 8. Cevap | Gerekirse taranır, uygulamaya döner | — |
| 9. Kayıt | Token anahtar, kullanıcı ve modelle kaydedilir | — |
Neden bu sıra
- Güvenlik önce gelir: prompt injection ve kişisel veri taraması limitlerden önce yapılır; taramada duran istek limit kontrolüne girmez.
- Önbellekten dönen cevap model çağırmaz ve limit kontrolüne girmez.
- Model seçimi limitlerin sonundadır; takılacak istek modelin sayacını doldurmaz.
- Tüm kontroller model çağrısından öncedir; reddedilen istekte maliyet oluşmaz.
| Sonuç | ACTION | İsteğe ne olur |
|---|---|---|
| Engellendi | blocked | Modele gitmez; uygulama hata alır |
| Uyarı | warned | Geçer; yalnızca kayda düşer |
| Kırpıldı | clamped | Geçer; cevap maks. çıktı sınırına kısalır |
| Yönlendirildi | rerouted | Sıradaki modele gider; hata yok |
Engelle ya da Sadece uyar modu proje bazında seçilir ve dört katmana birlikte uygulanır. Politika varsayılan olarak kapalı gelir. Ayar değişikliği hemen yansır; birden fazla sunucuda diğerlerine Redis üzerinden iletilir (Redis yoksa en geç 5 sn). Kullanım ve bütçe sayaçları en geç 10 sn gecikmeyle güncellenir.
Tarama, önbellek ve hafıza
Gizli anahtar taraması her lisansta, her projede açık gelir; varsayılan davranışı engellemektir. Kişisel veri maskeleme lisansla açılır ve varsayılan olarak kapalıdır.
- Uygulama X-FFM-Session gönderir; oturum hafızası açıksa geçmişi BaseLLM ekler.
- Uzun konuşmada eski mesajlar özetlenir; son 6 mesaj (proje bazında 2–50) değişmez.
- Yanıt önbelleği yalnız birebir aynı ve sıcaklığı 0 olan isteklere uygulanır.
- Yanıt önbelleğinin varsayılan modu Gölge'dir; istek yine modele gider.
- Yanıt önbelleği ve hafıza yalnız kişisel veri koruması açık projelerde çalışır.
- Redis'e ham kişisel veri yazılmaz; saklanan metin maskeli ve şifrelidir.
Kayıtlar
Token ve maliyet bilgisi kullanım kaydında, denetim olayları ayrı bir PostgreSQL veritabanında tutulur. correlation_id aynı isteğin audit, kullanım ve log kayıtlarını birbirine bağlar. Audit'e prompt, model cevabı, ham API anahtarı, sağlayıcı kimlik bilgisi, istek gövdesi ve araç argümanı yazılmaz.
SIEM'e aktarım varsayılan olarak 60 saniyede bir çalışır; aralık 15–3600 saniye arasında ayarlanır.