Entegrasyon

OpenAI uyumlu uç nokta

BaseLLM, OpenAI sohbet API'si biçiminde bir uç nokta sunar: POST /api/v1/chat/completions. Akışlı cevap ve araç çağrısı desteklenir; araç çağrısı proje bazında açılır.

Uyumluluk kapsamı

Bağlantı, başlıklar ve hata kodları Uygulamanızı bağlayın sayfasındadır. Bu sayfa, istek ve cevap alanlarına uygulanan davranışları anlatır. Desteklenen sağlayıcılar OpenAI, Anthropic, Google (Gemini), OpenRouter ve kurum içi modeldir.

AlanDavranış
userX-FFM-User yerine kullanılabilir; başlık önceliklidir
max_tokensMaks. çıktı sınırını aşarsa sınıra indirilir; 200 döner
stopEn çok 4 değer, her biri en çok 256 karakter; taranır
toolsEn çok 128 araç; proje bazında tools_enabled ile açılır
tool_choice, parallel_tool_callsSağlayıcıya iletilir
temperatureYanıt önbelleği yalnız 0 olan isteklere uygulanır
modelVarsayılan olarak yok sayılır; modeli proje seçer. Projede istemci model seçimi açıksa projenin kendi modellerinden biri ya da izinli bir model adı yazılabilir; boş ya da auto yazılırsa model yine projede seçilir. İzinli modeller GET /api/v1/models ile listelenir. Anahtara ya da kişiye (X-FFM-User) model izni verildiyse liste ve istekler, auto dahil, ona göre daralır. Projede yalnız sağlayıcı bağlantısı varsa (kendi modeli yoksa) auto çalışmaz; model adı zorunludur

Akışlı cevap (streaming)

  • Limit ve politika hataları akış başlamadan HTTP hatası olarak döner.
  • Yedek modele yalnızca ilk kelime gönderilmeden önce geçilir.
  • Akış başladıktan sonra sağlayıcı hata verirse istemci stream_interrupted olayını alır.
  • Akışlı isteklerde token sayısı sağlayıcıdan her zaman istenir.
  • Yarıda kesilen cevap da kaydedilir; sayı gelmediyse ≈ 4 karakter = 1 token sayılır.

Araç çağrısı (tool calling)

Sohbet API'si tools, tool_choice ve parallel_tool_calls alanlarını sağlayıcıya iletir; cevaptaki tool_calls alanı OpenAI uyumlu, Anthropic ve Google modellerinde aynı biçimde döner. Özellik proje bazında tools_enabled ile açılır; varsayılan olarak kapalıdır.

Cevap alanları ve başlıklar

AdTürAnlamı
modelCevap alanıKullanılan modeli gösterir; yönlendirmede değişir
tool_callsCevap alanıModelin araç çağrıları; tools_enabled açıksa
X-FFM-CacheCevap başlığıHIT, MISS, SHADOW ya da BYPASS
X-FFM-MemoryCevap başlığıÖr. session=continued; summarized=14; kept=6
scopeHata alanıLimit hatasının yeri: project, api_key, user, llm

Hata cevaplarında kod, mesaj, retryAfterSeconds ve scope alanları döner. Yanıt önbelleğinin varsayılan modu Gölge'dir; istek yine modele gider ve olası tasarruf kaydedilir.

Dikkat edilecekler

  • İsteğin kendisi hatalıysa yedek modele geçilmez; yedek model varsayılan olarak kapalıdır. Bağlam penceresi taşması ve içerik politikası reddi için projede ayrı ayar vardır.
  • Maks. çıktı sınırı yalnızca sohbet isteklerinde uygulanır.
  • Uygulamada uç nokta adresi ve API anahtarı değişir; kullanıcı limiti için X-FFM-User eklenir.