Başlarken

Uygulamanızı bağlayın

Uygulamanız model sağlayıcısı yerine BaseLLM'in OpenAI uyumlu sohbet uç noktasına, proje API anahtarıyla istek atar. Kullanıcı başına limit kullanacaksanız her isteğe X-FFM-User başlığını ekleyin.

Bağlantı mantığı

  • İstek POST /api/v1/chat/completions yoluna gider; sunucu adresi kurulumunuza özeldir.
  • Kimlik doğrulama proje API anahtarıyla yapılır; anahtarlar sk-ffm önekiyle başlar.
  • Anahtar projeyi tanıtır, kişiyi tanıtmaz.
  • Sağlayıcı anahtarları uygulamada değil, BaseLLM'de tutulur.
  • Politika varsayılan olarak kapalı gelir; limitleri yönetici proje proje açar.

Örnek istek

from openai import OpenAI
client = OpenAI(
    base_url="<basellm-uç-noktası>/api/v1",
    api_key="sk-ffm-...",  # proje API anahtarı
)
resp = client.chat.completions.create(
    model="basellm",  # BaseLLM bu alanı yok sayar
    messages=[{"role": "user", "content": "Merhaba"}],
    extra_headers={"X-FFM-User": "u-12345"},
)

Başlıklar ve alanlar

AdTürKural
X-FFM-Userİstek başlığıSon kullanıcı kimliği; en çok 128 karakter
X-FFM-User-Signatureİstek başlığıProjede kişi kimliği imzası zorunluysa: t=<unix saniye>,v1=<hex HMAC-SHA256(imza anahtarı, "t.kimlik")>; 5 dakika geçerli
userGövde alanıBaşlık yerine kullanılabilir; ikisi gelirse başlık geçerli
X-FFM-Sessionİstek başlığıOturum kimliği, 1–128 karakter; oturum hafızası için
correlation_idKayıt alanıAudit, kullanım ve log kayıtlarını birbirine bağlar
X-FFM-CacheCevap başlığıYanıt önbelleği: HIT, MISS, SHADOW, BYPASS
X-FFM-MemoryCevap başlığıHafızanın işi, ör. session=continued; kept=6

X-FFM-User model sağlayıcısına iletilmez; limit, model izni ve raporlama için kullanılır. Kimliği uygulamanız doğrular; BaseLLM gelen değeri olduğu gibi kullanır. Ad-soyad yerine kurum içi kısa bir kod gönderin. Proje anahtarı son kullanıcının elindeyse başka birinin kimliğini yazabilir; bunu önlemek için projede kişi kimliği imzasını zorunlu yapın ve kimliği, imza anahtarı yalnız sunucunuzda duran uygulamanızla imzalayın.

Hata kodları

DurumHTTPKodUygulama ne yapmalı
Dakikalık istek limiti aşıldı429rate_limitedretryAfterSeconds kadar bekleyip deneyin
Günlük ya da aylık token kotası doldu429quota_exceededYeniden denemeyin; yöneticiye bildirin
Girdi izin verilen boyuttan büyük400context_too_largeMetni kısaltın ya da bölün
Kullanıcı limiti açık, kimlik yok400user_requiredHer isteğe kullanıcı kimliği ekleyin
Projenin tüm modelleri dolu429rate_limited / quota_exceededDaha sonra deneyin; scope: llm
Gizli anahtar tespit edildi403secret_blockedAnahtarı metinden çıkarın ve yenileyin
Kişisel veri engellendi403pii_blockedKişisel veriyi metinden çıkarın
Projede kendi modeli yok, yalnız sağlayıcı bağlantısı var ve model adı verilmedi400model_requiredmodel alanına izinli bir model adı yazın (GET /api/v1/models)
Kişi kimliği imzasız ya da imza geçersiz401user_signature_invalidX-FFM-User-Signature'ı güncel zamanla ve doğru anahtarla üretin
İstenen model izinli değil, fiyatı yok ya da tavanı aşıyor400model_not_allowed / model_unpriced / model_over_price_capGET /api/v1/models listesinden seçin ya da model alanını auto yapın; scope: api_key ya da user ise kısıt anahtarın ya da kişinindir
Proje aylık bütçesi doldu429budget_exceededYöneticiye bildirin

Limit hatalarında scope alanı sorunun yerini gösterir: project, api_key, user ya da llm. Maks. çıktı sınırı hata üretmez; istek 200 ile tamamlanır ve cevap kırpılır. Limit dolunca yönlendirmede de 200 döner; cevaptaki model alanı kullanılan modeli gösterir.

Yeni bir projede limitleri Sadece uyar modunda açın ve bir-iki hafta kayıtları izleyin. “Kullanıcı kimliği yok” kayıtları, kimlik göndermeyen entegrasyonları gösterir. Değerler normal kullanımı kesmiyorsa Engelle moduna geçin.

  • Kota istek başında kontrol edilir; eşzamanlı isteklerde birkaç istek kadar aşılabilir.
  • Girdi boyutu tahmindir (4 karakter ≈ 1 token); Türkçe metin daha fazla token tutabilir.
  • Ayar değişikliği hemen yansır; birden fazla sunucuda diğerlerine Redis üzerinden iletilir (Redis yoksa en geç 5 sn). Kullanım ve bütçe sayaçları en geç 10 sn gecikmeyle güncellenir.
  • Maks. çıktı sınırı yalnızca sohbet isteklerinde uygulanır.