Başlarken
Genel bakış
BaseLLM, kurumdaki AI trafiğini tek bir merkezden geçiren ve kendi altyapınızda çalışan bir Enterprise AI Control Plane'dir. LLM Gateway, kullanım limitleri, bütçe, hassas veri taraması ve Audit Log tek panelden yönetilir.
Buradan başlayın
Bu sayfa ürünün neler sunduğunu özetler. Kurulum ve entegrasyon ayrıntıları aşağıdaki sayfalardadır.
- Nasıl çalışır
Başlarken: Bir isteğin gateway içinde geçtiği adımlar ve yazılan kayıtlar - Kurulum seçenekleri
Başlarken: Docker, Helm, kurulum sihirbazı, lisans ve boyutlandırma - Uygulamanızı bağlayın
Başlarken: Proje API anahtarı, X-FFM-User başlığı ve hata kodları - OpenAI uyumlu uç nokta
Entegrasyon: Streaming, araç çağrısı, cevap başlıkları ve sınırlar - Claude Code ve Anthropic SDK
Entegrasyon: Anthropic Messages biçimi, Claude Code bağlantısı - Claude Code aydınlatma metni
Entegrasyon: Çalışanlara verilecek KVKK bilgilendirmesi için örnek taslak
Mimari
BaseLLM üç katmanla tasarlanır: trafik (LLM Gateway), süreç (Workflow Orchestration) ve kontrol (Enterprise AI Governance). Aşağıdaki modüller trafik katmanını ve üzerindeki kontrolleri oluşturur.
- LLM Gateway
Trafik: OpenAI uyumlu sohbet uç noktası; yedek model proje bazında, varsayılan kapalı - Policy Engine
Limitler: Proje, API anahtarı, kullanıcı ve model katmanında limitler - Hassas veri koruması
Tarama: Gizli anahtar taraması her projede açık; kişisel veri maskeleme lisansla açılır - Cost Observability
Maliyet: USD cinsinden proje aylık bütçesi, maliyet trendi ve ay sonu tahmini - Audit Log
Denetim: Değiştirilemez kayıt zinciri ve SIEM'e toplu aktarım - Önbellek ve hafıza
Verim: Sağlayıcı ve yanıt önbelleği; oturum, günlük ve proje hafızası
Bir isteğin yolu
Uygulama isteği model sağlayıcısına değil, BaseLLM'in OpenAI uyumlu uç noktasına gönderir. Kontroller model çağrılmadan önce yapılır; reddedilen istek için sağlayıcıya ödeme yapılmaz.
- API anahtarından proje, X-FFM-User başlığından kullanıcı bulunur.
- Proje, API anahtarı ve kullanıcı limitleri kontrol edilir.
- Öncelik sırasında limiti müsait ilk model seçilir.
- Gizli anahtar ve kişisel veri taraması yapılır.
- Model çağrılır; açıksa sağlayıcı hatasında yedek modele geçilir.
- Token, maliyet ve audit kaydı aynı correlation_id ile bağlanır.
Öne çıkan değerler
| Yetenek | Değer | Koşul |
|---|---|---|
| Çoklu sağlayıcı | OpenAI, Anthropic, Gemini, OpenRouter, kurum içi model | — |
| Gateway ek gecikmesi | p99 1,73–1,76 ms | Test ortamı; model süresi hariç |
| Proje limitleri | 50 eşzamanlı istekte limit 10: 10 geçti | Redis açık, çok kopya |
| Kişisel veri tespiti | 22 gerçekçi örnekte 20'si yakalandı | Ad-soyad ve adres kapsam dışı |
| Audit zinciri doğrulama | 244.939 kayıt 6,4 sn'de doğrulandı | Yerel yük testi |