Kontrol

LLM Gateway

Uygulamalarınız model sağlayıcısına doğrudan değil, BaseLLM'in OpenAI uyumlu uç noktasına bağlanır. Sağlayıcı anahtarları, yedek model ve kullanım kaydı tek yerde yönetilir.

Bağlantı mantığı

Uygulama, OpenAI uyumlu sohbet uç noktasına (POST /api/v1/chat/completions) proje API anahtarıyla istek atar. Anahtar projeyi tanıtır, kişiyi tanıtmaz. Sağlayıcı anahtarları uygulamada değil, BaseLLM'de şifreli (AES-256-GCM) tutulur.

from openai import OpenAI
client = OpenAI(
    base_url="<basellm-uç-noktası>/api/v1",
    api_key="sk-ffm-...",  # proje API anahtarı
)
resp = client.chat.completions.create(
    model="<model-adı>",
    messages=[{"role": "user", "content": "Merhaba"}],
    extra_headers={"X-FFM-User": "u-12345"},
)

Araç çağrısı (tools, tool_choice, parallel_tool_calls) sağlayıcıya taşınır; proje bazında tools_enabled ile açılır ve varsayılan kapalıdır.

Sağlayıcılar ve kullanım kaydı

SağlayıcıNot
OpenAIÖnbellekli token sayımı
Anthropic (Claude)Önbellek işaretini BaseLLM koyar
Google (Gemini)Önbellekli token sayımı
OpenRouterSağlayıcı yolu; ör. Claude Haiku 4.5
Kurum içi modelFiyatlandırma ve maliyet kaydı; vLLM önbellek sayımı

Gateway, modele giden her isteğin sonunda bir kullanım kaydı yazar: zaman, proje, model, girdi ve çıktı token, süre (latency_ms), maliyet ve son kullanıcı kimliği. Konuşma içeriği bu kayıtta tutulmaz.

Yedek model (fallback)

Sağlayıcı hata verir ya da cevap vermezse istek projenin sıradaki modeline geçebilir. Özellik varsayılan kapalıdır; yönetici proje bazında açar. Sohbet ve karar modelleri için tek ortak ayardır.

DurumYedeğe geçer mi
Belirlenen sürede cevap yokGeçer
Sağlayıcıya ulaşılamıyorGeçer
"Çok fazla istek" (429)Geçer
Sağlayıcı arızası (5xx, aşırı yük)Geçer
API anahtarı reddi, model yokGeçer
İsteğin kendisi hatalıGeçmez
  • Akışlı (streaming) cevapta yalnız ilk kelime gitmeden geçilir.
  • Her geçiş karar listesine ve denetim kaydına yazılır.
  • Model limiti dolunca da sıradaki modele geçilebilir (Policy Engine).
  • Proje aylık bütçesi dolunca yedek modele geçilmez.

Ek gecikme

ÖlçüDeğer
Ortanca ek süre (p50)0,29–0,30 ms
En yavaş %1 (p99)1,73–1,76 ms
En yavaş binde bir (p99,9)~3 ms

API anahtarı kontrolü SHA-256 ile yapılır ve ayarlar bellekte tutulur; istek başına veritabanı sorgusu gerekmez. Ayar değişikliği hemen yansır; birden fazla sunucuda diğerlerine Redis üzerinden iletilir (Redis yoksa en geç 5 sn). Kullanım ve bütçe sayaçları en geç 10 sn gecikmeyle güncellenir.

Yönlendirme

Model değişikliği üç durumda otomatik olur: model limiti dolunca; yedek model açıkken sağlayıcı hata verince ya da circuit breaker sorunlu modeli geçici olarak devreden çıkarınca; akıllı yönlendirme açık moddayken basit bir soru daha ucuz modele gönderilince. Limit yönlendirmesinde istek 200 ile tamamlanır; cevaptaki model alanı kullanılan modeli gösterir.