Başlarken

Genel bakış

BaseLLM, kurumdaki AI trafiğini tek bir merkezden geçiren ve kendi altyapınızda çalışan bir Enterprise AI Control Plane'dir. LLM Gateway, kullanım limitleri, bütçe, hassas veri taraması ve Audit Log tek panelden yönetilir.

Buradan başlayın

Bu sayfa ürünün neler sunduğunu özetler. Kurulum ve entegrasyon ayrıntıları aşağıdaki sayfalardadır.

Mimari

BaseLLM üç katmanla tasarlanır: trafik (LLM Gateway), süreç (Workflow Orchestration) ve kontrol (Enterprise AI Governance). Aşağıdaki modüller trafik katmanını ve üzerindeki kontrolleri oluşturur.

  • LLM Gateway Trafik: OpenAI uyumlu sohbet uç noktası; yedek model proje bazında, varsayılan kapalı
  • Policy Engine Limitler: Proje, API anahtarı, kullanıcı ve model katmanında limitler
  • Hassas veri koruması Tarama: Gizli anahtar taraması her projede açık; kişisel veri maskeleme lisansla açılır
  • Cost Observability Maliyet: USD cinsinden proje aylık bütçesi, maliyet trendi ve ay sonu tahmini
  • Audit Log Denetim: Değiştirilemez kayıt zinciri ve SIEM'e toplu aktarım
  • Önbellek ve hafıza Verim: Sağlayıcı ve yanıt önbelleği; oturum, günlük ve proje hafızası

Bir isteğin yolu

Uygulama isteği model sağlayıcısına değil, BaseLLM'in OpenAI uyumlu uç noktasına gönderir. Kontroller model çağrılmadan önce yapılır; reddedilen istek için sağlayıcıya ödeme yapılmaz.

  • API anahtarından proje, X-FFM-User başlığından kullanıcı bulunur.
  • Proje, API anahtarı ve kullanıcı limitleri kontrol edilir.
  • Öncelik sırasında limiti müsait ilk model seçilir.
  • Gizli anahtar ve kişisel veri taraması yapılır.
  • Model çağrılır; açıksa sağlayıcı hatasında yedek modele geçilir.
  • Token, maliyet ve audit kaydı aynı correlation_id ile bağlanır.

Öne çıkan değerler

YetenekDeğerKoşul
Çoklu sağlayıcıOpenAI, Anthropic, Gemini, OpenRouter, kurum içi model—
Gateway ek gecikmesip99 1,73–1,76 msTest ortamı; model süresi hariç
Proje limitleri50 eşzamanlı istekte limit 10: 10 geçtiRedis açık, çok kopya
Kişisel veri tespiti22 gerçekçi örnekte 20'si yakalandıAd-soyad ve adres kapsam dışı
Audit zinciri doğrulama244.939 kayıt 6,4 sn'de doğrulandıYerel yük testi