Başlarken

Nasıl çalışır

Her istek, uygulama ile model sağlayıcısı arasında BaseLLM'den geçer. Limitler ve taramalar model çağrılmadan önce çalışır; reddedilen istek için maliyet oluşmaz.

Bir isteğin yolu

Kontroller aşağıdaki sırayla değerlendirilir. Reddedilen istek modele hiç gitmez; karar kaydı yine yazılır.

AdımİşlemDurursa
1. KimlikAPI anahtarından proje, başlıktan kullanıcı bulunur401
2. Prompt injectionModele yönelik talimat taraması (projede açıksa)403
3. TaramaGizli anahtar ve kişisel veri taraması403
4. Yanıt önbelleğiÖnbellek açıksa ve cevap varsa istek burada önbellekten döner—
5. LimitlerProje, API anahtarı ve kullanıcı limitleri429 ya da 400
6. Model seçimiÖncelik sırasında limiti müsait ilk model; akıllı yönlendirme açıksa basit soru önce ucuz modele429, scope: llm
7. Model çağrısıSağlayıcı hatasında yedek model (açıksa)—
8. CevapGerekirse taranır, uygulamaya döner—
9. KayıtToken anahtar, kullanıcı ve modelle kaydedilir—

Neden bu sıra

  • Güvenlik önce gelir: prompt injection ve kişisel veri taraması limitlerden önce yapılır; taramada duran istek limit kontrolüne girmez.
  • Önbellekten dönen cevap model çağırmaz ve limit kontrolüne girmez.
  • Model seçimi limitlerin sonundadır; takılacak istek modelin sayacını doldurmaz.
  • Tüm kontroller model çağrısından öncedir; reddedilen istekte maliyet oluşmaz.
SonuçACTIONİsteğe ne olur
EngellendiblockedModele gitmez; uygulama hata alır
UyarıwarnedGeçer; yalnızca kayda düşer
KırpıldıclampedGeçer; cevap maks. çıktı sınırına kısalır
YönlendirildireroutedSıradaki modele gider; hata yok

Engelle ya da Sadece uyar modu proje bazında seçilir ve dört katmana birlikte uygulanır. Politika varsayılan olarak kapalı gelir. Ayar değişikliği hemen yansır; birden fazla sunucuda diğerlerine Redis üzerinden iletilir (Redis yoksa en geç 5 sn). Kullanım ve bütçe sayaçları en geç 10 sn gecikmeyle güncellenir.

Tarama, önbellek ve hafıza

Gizli anahtar taraması her lisansta, her projede açık gelir; varsayılan davranışı engellemektir. Kişisel veri maskeleme lisansla açılır ve varsayılan olarak kapalıdır.

  • Uygulama X-FFM-Session gönderir; oturum hafızası açıksa geçmişi BaseLLM ekler.
  • Uzun konuşmada eski mesajlar özetlenir; son 6 mesaj (proje bazında 2–50) değişmez.
  • Yanıt önbelleği yalnız birebir aynı ve sıcaklığı 0 olan isteklere uygulanır.
  • Yanıt önbelleğinin varsayılan modu Gölge'dir; istek yine modele gider.
  • Yanıt önbelleği ve hafıza yalnız kişisel veri koruması açık projelerde çalışır.
  • Redis'e ham kişisel veri yazılmaz; saklanan metin maskeli ve şifrelidir.

Kayıtlar

Token ve maliyet bilgisi kullanım kaydında, denetim olayları ayrı bir PostgreSQL veritabanında tutulur. correlation_id aynı isteğin audit, kullanım ve log kayıtlarını birbirine bağlar. Audit'e prompt, model cevabı, ham API anahtarı, sağlayıcı kimlik bilgisi, istek gövdesi ve araç argümanı yazılmaz.

SIEM'e aktarım varsayılan olarak 60 saniyede bir çalışır; aralık 15–3600 saniye arasında ayarlanır.