Agent Control

Hafıza

BaseLLM konuşma geçmişini saklar, uzun konuşmaları özetler ve modele kullanıcının son günlerini ve projenin onaylı kurallarını verir. Oturum, günlük ve proje hafızası ile iki önbellek proje bazında açılır.

Oturum, günlük ve proje hafızası

HafızaNe yaparVarsayılan / aralık
OturumGeçmişi tutar; uzun konuşmayı özetlerSon 6 mesaj (2–50); 30 gün (1–365)
GünlükKullanıcının son günlerini günde bir özetlerSon 7 gün (1–30); 1.000 token
ProjeYöneticinin onaylayıp yayınladığı maddeler2.000 token; günde en çok 10 öneri
# İstek (1–128 karakter)
X-FFM-Session: <oturum-kimliği>
# Cevap
X-FFM-Memory: session=continued; summarized=14; kept=6
X-FFM-Cache: SHADOW

Önbellekler

Yanıt önbelleği moduDavranış
KapalıHer istek modele gider
Gölge (varsayılan)İstek modele gider; olası tasarruf kaydedilir
AçıkTekrar eden istek önbellekten döner; maliyet 0

Yanıt önbelleği yalnız birebir aynı ve sıcaklığı 0 olan isteklere uygulanır. Saklama süresi 5 dakika–7 gün, varsayılan 1 saattir. X-FFM-Cache başlığı HIT, MISS, SHADOW ya da BYPASS değerini taşır.

Sağlayıcı istem önbelleğinde önbellekli token sayısı OpenAI, Anthropic, Gemini, OpenRouter ve vLLM'den okunur ve bütçeye yansır. Claude isteklerine önbellek işaretini BaseLLM koyar; uygulamada değişiklik gerekmez.

Ölçümler ve kişisel veri güvencesi

ÖlçümSonuçKoşul
İstem önbelleği tasarrufugpt-5-mini %77; Claude Haiku 4.5 %89Gerçek sağlayıcı, tekrar eden istem
Hafızalı önbellek oranıClaude %99,3; OpenAI %97,9Gerçek sağlayıcı, 4 turluk konuşma
Yanıt önbelleği isabetip50 ~0,5 ms; p99 ~1,8 msTest ortamı
Oturum hafızası, 56 mesajp50 1,0 msTest ortamı
  • Redis'e ham kişisel veri yazılmaz; metin maskeli, değerler şifrelidir
  • Koruma kapalıyken Redis'e hiçbir şey yazılmaz
  • Cevapta kişisel veri varsa yanıt önbelleği o cevabı saklamaz
  • Redis'e ulaşılamazsa istek durmaz