Başlarken
Kurulum seçenekleri
BaseLLM, Base Interactive'in kurumun kendi altyapısında (on-prem) çalışan AI gateway'idir; Docker ile tek sunucuya ya da Helm paketiyle Kubernetes ve OpenShift'e kurulur. İlk açılışta tarayıcıdan çalışan bir sihirbaz lisansı, sertifikayı ve bağlantıları adım adım kurar.
Kurulum yolları
| Yol | Ne zaman |
|---|---|
| Docker, tek sunucu | Pilot ve küçük kurulumlar |
| Helm: Kubernetes / OpenShift | Çok kopya, yüksek erişilebilirlik |
Helm kurulumunda PostgreSQL kurumun kendi sunucusudur; Docker paketi kendi PostgreSQL'ini getirir. Her iki yolda da ana ve denetim için iki veritabanı gerekir. Redis birden fazla kopyada zorunludur, tek sunucuda gerekmez. Donanım için başlangıç önerisi Boyutlandırma bölümündedir.
Docker kurulumu için Docker Engine 20.10 ve Docker Compose 2.20 ya da üstü gerekir. Paket Linux, macOS ve Windows'ta çalışır. Windows'ta kurulum komutları WSL2'deki Ubuntu terminalinde çalıştırılır; Komut İstemi (cmd) ve PowerShell'de rehberdeki komutlar yoktur. Adımlar paketin içindeki KURULUM.md dosyasındadır.
Kubernetes ve OpenShift
helm install basellm helm/<paketteki-chart>.tgz -n basellm \
--set hosts.ui=basellm.kurum.local \
--set hosts.api=basellm-api.kurum.local \
--set platform=openshift
- Backend (API) ve arayüz
- Ingress / OpenShift Route
- İsteğe bağlı Redis (ortak limit sayacı)
- Sihirbaz için kalıcı disk
- Tek seferlik DB güncelleme işi
- Kubernetes Secret: şifreleme anahtarı ve ayarlar
- Kümenin kimliğini okuyan servis hesabı (yalnız kube-system namespace'ini okuma izni)
Sihirbaz, lisans ve şifreli yapılandırma
| Adım | Ad | Ne kurulur |
|---|---|---|
| 1 | Dil ve bölge | Sistem dili ve yeni projelerin varsayılan kişisel veri ülkesi |
| 2 | Lisans | Parmak izi portala verilir, imzalı lisans alınır; lisans bu sunucuya ya da kümeye bağlanır |
| 3 | Sertifika | Şifreleme anahtarını kilitleyen sertifika |
| 4 | Veritabanı | Ana veritabanı (PostgreSQL) |
| 5 | Denetim veritabanı | Denetim kayıtları için ayrı veritabanı; ana veritabanıyla aynı sunucuda olabilir |
| 6 | Redis | Ortak limit sayaçları; tek sunucuda gerekmez |
| 7 | LDAP | Kurum dizini bağlantısı; isteğe bağlı, sonra Ayarlar'dan da tanımlanır |
| 8 | Yönetici | İlk yönetici hesabı |
| 9 | Onay | Girilen ayarların özeti; kurulum burada tamamlanır |
Her adımda bağlantı kaydedilmeden önce “Test et” ile denenir; sihirbaz bitince bir daha çalıştırılamaz. Gizli değerler diskte enc:v1: önekiyle şifreli durur ve yalnız açılışta, bellekte çözülür. Anahtar sizin sertifikanızla kilitlidir; config_cli init, encrypt-env, encrypt-value, rewrap ve verify komutlarını sunar.
Lisans hangi sunucuya bağlıdır?
Kurumsal lisans, veritabanıyla birlikte taşınamayan bir kimliğe bağlıdır. Bu yüzden veritabanı başka bir sunucuya kopyalansa da lisans orada çalışmaz.
| Kurulum | Lisans neye bağlı |
|---|---|
| Docker | Sunucunun makine kimliği (/etc/machine-id). Dosya yoksa sudo systemd-machine-id-setup ile oluşturulur |
| Kubernetes / OpenShift | Kümenin kimliği. Kopya sayısını artırmak, sunucu eklemek ya da çıkarmak lisansı etkilemez |
Helm paketi kümenin kimliğini okumak için yalnız kube-system namespace'ini okuma izni olan bir servis hesabı oluşturur. Kurumunuz bu izni kendi hesabıyla vermek isterse rbac.create=false ve backend.serviceAccountName kullanılır; izin yoksa uygulama açılmaz ve nedenini yazar.
Başka bir sunucuya, yeni ya da yedek bir kümeye geçerken yeni kurulumun parmak izini portala verip yeni lisans alırsınız.
Boyutlandırma ve yüksek erişilebilirlik
Aşağıdaki değerler başlangıç önerisidir; kesin kapasite ortamınızda yapılacak yük testiyle belirlenir. Pratikte kapasiteyi çoğu zaman önce sağlayıcının hız ve kota limitleri belirler.
| Bileşen | Başlangıç önerisi |
|---|---|
| BaseLLM | En az 2 kopya, her biri 1 çekirdek + 1 GB |
| Kopya kapasitesi | Saniyede ~400 akışsız ya da ~100–150 akışlı istek |
| PostgreSQL | Saniyede her 100 istek için ~0,1 çekirdek; hızlı disk |
| Redis | Birden fazla kopyada zorunlu; yükü ihmal edilebilir |
| Dengeleyici | Hata ve 503'te diğer kopyaya yönlendirme açık |
- Birden fazla kopya: bir backend düşerse diğeri istekleri karşılar.
- Düğüm bakımı sırasında en az bir kopya ayakta kalır.
- OpenShift kurallarına uygun: root yetkisi olmadan, rastgele kullanıcı numarasıyla ve salt okunur dosya sisteminde çalışır.
- Yedekleme için üç şey yeterlidir: iki veritabanı, şifreleme anahtarı ve şifreli ayar dosyası.
Sık sorulan sorular
BaseLLM on-prem, kendi sunucumuzda çalışır mı?
Evet. BaseLLM AI gateway tamamen kurumun kendi altyapısına kurulur: Docker ile tek sunucuya ya da Helm paketiyle Kubernetes ve OpenShift'e. Veritabanları da kurumun kendi PostgreSQL sunucusudur (Docker paketi kendi PostgreSQL'ini getirir).
OpenShift'in güvenlik kısıtlarıyla (SCC) uyumlu mu?
Evet. Root yetkisi olmadan, rastgele kullanıcı numarasıyla ve salt okunur dosya sisteminde çalışır. Helm'de platform=openshift ile Ingress yerine OpenShift Route kullanılır.
Kubernetes'te kaç kopya ve ne kadar kaynak gerekir?
Başlangıç önerisi en az 2 kopya, her biri 1 çekirdek + 1 GB. Bir kopya saniyede ~400 akışsız ya da ~100–150 akışlı isteği karşılar. Birden fazla kopyada Redis zorunludur. Kesin kapasite kendi ortamınızdaki yük testiyle belirlenir.
Güncelleme sırasında kesinti olur mu?
Sırayla güncellemede yeni sürüm hazır olmadan eskisi kapanmaz. Test kümesinde güncelleme sırasında gönderilen 649 istekten hiçbiri hata almadı.
Sonraki adım ne?
Paketi kayıt deposundan almak için Docker deposundan kurulum, deneme lisansı için İlk deneme lisansını alma, LiteLLM'den geçiş için LiteLLM'den geçiş sayfalarına bakın.