Kontrol
LLM Gateway
Uygulamalarınız model sağlayıcısına doğrudan değil, BaseLLM'in OpenAI uyumlu uç noktasına bağlanır. Sağlayıcı anahtarları, yedek model ve kullanım kaydı tek yerde yönetilir.
Bağlantı mantığı
Uygulama, OpenAI uyumlu sohbet uç noktasına (POST /api/v1/chat/completions) proje API anahtarıyla istek atar. Anahtar projeyi tanıtır, kişiyi tanıtmaz. Sağlayıcı anahtarları uygulamada değil, BaseLLM'de şifreli (AES-256-GCM) tutulur.
from openai import OpenAI
client = OpenAI(
base_url="<basellm-uç-noktası>/api/v1",
api_key="sk-ffm-...", # proje API anahtarı
)
resp = client.chat.completions.create(
model="<model-adı>",
messages=[{"role": "user", "content": "Merhaba"}],
extra_headers={"X-FFM-User": "u-12345"},
)
Araç çağrısı (tools, tool_choice, parallel_tool_calls) sağlayıcıya taşınır; proje bazında tools_enabled ile açılır ve varsayılan kapalıdır.
Sağlayıcılar ve kullanım kaydı
| Sağlayıcı | Not |
|---|---|
| OpenAI | Önbellekli token sayımı |
| Anthropic (Claude) | Önbellek işaretini BaseLLM koyar |
| Google (Gemini) | Önbellekli token sayımı |
| OpenRouter | Sağlayıcı yolu; ör. Claude Haiku 4.5 |
| Kurum içi model | Fiyatlandırma ve maliyet kaydı; vLLM önbellek sayımı |
Gateway, modele giden her isteğin sonunda bir kullanım kaydı yazar: zaman, proje, model, girdi ve çıktı token, süre (latency_ms), maliyet ve son kullanıcı kimliği. Konuşma içeriği bu kayıtta tutulmaz.
Yedek model (fallback)
Sağlayıcı hata verir ya da cevap vermezse istek projenin sıradaki modeline geçebilir. Özellik varsayılan kapalıdır; yönetici proje bazında açar. Sohbet ve karar modelleri için tek ortak ayardır.
| Durum | Yedeğe geçer mi |
|---|---|
| Belirlenen sürede cevap yok | Geçer |
| Sağlayıcıya ulaşılamıyor | Geçer |
| "Çok fazla istek" (429) | Geçer |
| Sağlayıcı arızası (5xx, aşırı yük) | Geçer |
| API anahtarı reddi, model yok | Geçer |
| İsteğin kendisi hatalı | Geçmez |
- Akışlı (streaming) cevapta yalnız ilk kelime gitmeden geçilir.
- Her geçiş karar listesine ve denetim kaydına yazılır.
- Model limiti dolunca da sıradaki modele geçilebilir (Policy Engine).
- Proje aylık bütçesi dolunca yedek modele geçilmez.
Ek gecikme
| Ölçü | Değer |
|---|---|
| Ortanca ek süre (p50) | 0,29–0,30 ms |
| En yavaş %1 (p99) | 1,73–1,76 ms |
| En yavaş binde bir (p99,9) | ~3 ms |
API anahtarı kontrolü SHA-256 ile yapılır ve ayarlar bellekte tutulur; istek başına veritabanı sorgusu gerekmez. Ayar değişikliği hemen yansır; birden fazla sunucuda diğerlerine Redis üzerinden iletilir (Redis yoksa en geç 5 sn). Kullanım ve bütçe sayaçları en geç 10 sn gecikmeyle güncellenir.
Yönlendirme
Model değişikliği üç durumda otomatik olur: model limiti dolunca; yedek model açıkken sağlayıcı hata verince ya da circuit breaker sorunlu modeli geçici olarak devreden çıkarınca; akıllı yönlendirme açık moddayken basit bir soru daha ucuz modele gönderilince. Limit yönlendirmesinde istek 200 ile tamamlanır; cevaptaki model alanı kullanılan modeli gösterir.