Başlarken

Kurulum seçenekleri

BaseLLM, Base Interactive'in kurumun kendi altyapısında (on-prem) çalışan AI gateway'idir; Docker ile tek sunucuya ya da Helm paketiyle Kubernetes ve OpenShift'e kurulur. İlk açılışta tarayıcıdan çalışan bir sihirbaz lisansı, sertifikayı ve bağlantıları adım adım kurar.

Kurulum yolları

YolNe zaman
Docker, tek sunucuPilot ve küçük kurulumlar
Helm: Kubernetes / OpenShiftÇok kopya, yüksek erişilebilirlik

Helm kurulumunda PostgreSQL kurumun kendi sunucusudur; Docker paketi kendi PostgreSQL'ini getirir. Her iki yolda da ana ve denetim için iki veritabanı gerekir. Redis birden fazla kopyada zorunludur, tek sunucuda gerekmez. Donanım için başlangıç önerisi Boyutlandırma bölümündedir.

Docker kurulumu için Docker Engine 20.10 ve Docker Compose 2.20 ya da üstü gerekir. Paket Linux, macOS ve Windows'ta çalışır. Windows'ta kurulum komutları WSL2'deki Ubuntu terminalinde çalıştırılır; Komut İstemi (cmd) ve PowerShell'de rehberdeki komutlar yoktur. Adımlar paketin içindeki KURULUM.md dosyasındadır.

Kubernetes ve OpenShift

helm install basellm helm/<paketteki-chart>.tgz -n basellm \
  --set hosts.ui=basellm.kurum.local \
  --set hosts.api=basellm-api.kurum.local \
  --set platform=openshift
  • Backend (API) ve arayüz
  • Ingress / OpenShift Route
  • İsteğe bağlı Redis (ortak limit sayacı)
  • Sihirbaz için kalıcı disk
  • Tek seferlik DB güncelleme işi
  • Kubernetes Secret: şifreleme anahtarı ve ayarlar
  • Kümenin kimliğini okuyan servis hesabı (yalnız kube-system namespace'ini okuma izni)

Sihirbaz, lisans ve şifreli yapılandırma

AdımAdNe kurulur
1Dil ve bölgeSistem dili ve yeni projelerin varsayılan kişisel veri ülkesi
2LisansParmak izi portala verilir, imzalı lisans alınır; lisans bu sunucuya ya da kümeye bağlanır
3SertifikaŞifreleme anahtarını kilitleyen sertifika
4VeritabanıAna veritabanı (PostgreSQL)
5Denetim veritabanıDenetim kayıtları için ayrı veritabanı; ana veritabanıyla aynı sunucuda olabilir
6RedisOrtak limit sayaçları; tek sunucuda gerekmez
7LDAPKurum dizini bağlantısı; isteğe bağlı, sonra Ayarlar'dan da tanımlanır
8Yöneticiİlk yönetici hesabı
9OnayGirilen ayarların özeti; kurulum burada tamamlanır

Her adımda bağlantı kaydedilmeden önce “Test et” ile denenir; sihirbaz bitince bir daha çalıştırılamaz. Gizli değerler diskte enc:v1: önekiyle şifreli durur ve yalnız açılışta, bellekte çözülür. Anahtar sizin sertifikanızla kilitlidir; config_cli init, encrypt-env, encrypt-value, rewrap ve verify komutlarını sunar.

Lisans hangi sunucuya bağlıdır?

Kurumsal lisans, veritabanıyla birlikte taşınamayan bir kimliğe bağlıdır. Bu yüzden veritabanı başka bir sunucuya kopyalansa da lisans orada çalışmaz.

KurulumLisans neye bağlı
DockerSunucunun makine kimliği (/etc/machine-id). Dosya yoksa sudo systemd-machine-id-setup ile oluşturulur
Kubernetes / OpenShiftKümenin kimliği. Kopya sayısını artırmak, sunucu eklemek ya da çıkarmak lisansı etkilemez

Helm paketi kümenin kimliğini okumak için yalnız kube-system namespace'ini okuma izni olan bir servis hesabı oluşturur. Kurumunuz bu izni kendi hesabıyla vermek isterse rbac.create=false ve backend.serviceAccountName kullanılır; izin yoksa uygulama açılmaz ve nedenini yazar.

Başka bir sunucuya, yeni ya da yedek bir kümeye geçerken yeni kurulumun parmak izini portala verip yeni lisans alırsınız.

Boyutlandırma ve yüksek erişilebilirlik

Aşağıdaki değerler başlangıç önerisidir; kesin kapasite ortamınızda yapılacak yük testiyle belirlenir. Pratikte kapasiteyi çoğu zaman önce sağlayıcının hız ve kota limitleri belirler.

BileşenBaşlangıç önerisi
BaseLLMEn az 2 kopya, her biri 1 çekirdek + 1 GB
Kopya kapasitesiSaniyede ~400 akışsız ya da ~100–150 akışlı istek
PostgreSQLSaniyede her 100 istek için ~0,1 çekirdek; hızlı disk
RedisBirden fazla kopyada zorunlu; yükü ihmal edilebilir
DengeleyiciHata ve 503'te diğer kopyaya yönlendirme açık
  • Birden fazla kopya: bir backend düşerse diğeri istekleri karşılar.
  • Düğüm bakımı sırasında en az bir kopya ayakta kalır.
  • OpenShift kurallarına uygun: root yetkisi olmadan, rastgele kullanıcı numarasıyla ve salt okunur dosya sisteminde çalışır.
  • Yedekleme için üç şey yeterlidir: iki veritabanı, şifreleme anahtarı ve şifreli ayar dosyası.

Sık sorulan sorular

BaseLLM on-prem, kendi sunucumuzda çalışır mı?

Evet. BaseLLM AI gateway tamamen kurumun kendi altyapısına kurulur: Docker ile tek sunucuya ya da Helm paketiyle Kubernetes ve OpenShift'e. Veritabanları da kurumun kendi PostgreSQL sunucusudur (Docker paketi kendi PostgreSQL'ini getirir).

OpenShift'in güvenlik kısıtlarıyla (SCC) uyumlu mu?

Evet. Root yetkisi olmadan, rastgele kullanıcı numarasıyla ve salt okunur dosya sisteminde çalışır. Helm'de platform=openshift ile Ingress yerine OpenShift Route kullanılır.

Kubernetes'te kaç kopya ve ne kadar kaynak gerekir?

Başlangıç önerisi en az 2 kopya, her biri 1 çekirdek + 1 GB. Bir kopya saniyede ~400 akışsız ya da ~100–150 akışlı isteği karşılar. Birden fazla kopyada Redis zorunludur. Kesin kapasite kendi ortamınızdaki yük testiyle belirlenir.

Güncelleme sırasında kesinti olur mu?

Sırayla güncellemede yeni sürüm hazır olmadan eskisi kapanmaz. Test kümesinde güncelleme sırasında gönderilen 649 istekten hiçbiri hata almadı.

Sonraki adım ne?

Paketi kayıt deposundan almak için Docker deposundan kurulum, deneme lisansı için İlk deneme lisansını alma, LiteLLM'den geçiş için LiteLLM'den geçiş sayfalarına bakın.