2026 में SillyTavern मेमोरी का विकल्प

SillyTavern की मेमोरी सिस्टम अपने आप काम नहीं करती। यह तीन परतों का उपयोग करती है: कॉन्टेक्स्ट विंडो, कैरेक्टर नोट, और ऑप्शनल वेक्टर स्टोरेज। कॉन्टेक्स्ट विंडो वह टोकन संख्या है (डिफ़ॉल्ट 4096, आपके API प्रोवाइडर के अनुसार 8192 या उससे ज़्यादा तक बढ़ाई जा सकती है) जिसे AI एक बार में 'देख' सकती है। पुराने मैसेज बाहर हो जाते हैं। इससे निपटने के लिए, SillyTavern हर N मैसेज पर अपने आप बातचीत का सारांश बनाती है (कॉन्फ़िगर करने योग्य, डिफ़ॉल्ट 10) और उस सारांश को कॉन्टेक्स्ट में डाल देती है। कैरेक्टर नोट एक छोटा, हमेशा मौजूद टेक्स्ट ब्लॉक है जिसका उपयोग आप मुख्य तथ्य, रिलेशनशिप स्टेटस या प्लॉट पॉइंट स्टोर करने के लिए कर सकते हैं। लॉन्ग-टर्म मेमोरी के लिए, आप ChromaDB (वेक्टर डेटाबेस) चालू कर सकते हैं जो पुराने मैसेज को एम्बेडिंग के रूप में स्टोर करता है और ज़रूरत पड़ने पर प्रासंगिक वाले निकाल लाता है। हालांकि, इसके लिए आपको एम्बेडिंग के लिए अपनी खुद की API key और एक लोकल या क्लाउड Chroma इंस्टेंस देना होगा। मैन्युअल कॉन्फ़िगरेशन के बिना, मेमोरी उतनी ही सीमित है जितनी कॉन्टेक्स्ट विंडो में फिट होती है, साथ में ऑटोमैटिक सारांश।

SillyTavern मेमोरी सुधारने का सबसे सीधा तरीका कॉन्टेक्स्ट साइज़ बढ़ाना है। यूज़र सेटिंग्स में, आप 'Context Size' को अपने API प्रोवाइडर की अधिकतम सीमा के अनुसार सेट कर सकते हैं। उदाहरण के लिए, OpenAI GPT-4 Turbo 128,000 टोकन सपोर्ट करता है, जबकि Claude 3 Opus 200,000। हालांकि, बड़े कॉन्टेक्स्ट से लागत और लेटेंसी बढ़ती है। SillyTavern आपको 'Response Length' की सीमा अलग से सेट करने देती है। एक आम सलाह है कि संतुलन के लिए कॉन्टेक्स्ट 8192 और रिस्पॉन्स लेंथ 1024 रखें। प्रॉम्प्ट जनरेशन मेन्यू में 'Max Tokens' तय करता है कि API को असल में कितने टोकन भेजे जाएं; अगर आप इसे कॉन्टेक्स्ट साइज़ से कम रखते हैं, तो पैसे बचते हैं पर मेमोरी चली जाती है। आपको 'Summary' सेटिंग्स भी एडजस्ट करनी होंगी: आप बदल सकते हैं कि सारांश कितनी बार बनें (हर 5-20 मैसेज पर) और सारांश कॉन्टेक्स्ट के शुरू में जुड़े या अंत में। रोलप्ले के लिए, सारांश को कॉन्टेक्स्ट के ऊपर रखना अक्सर बेहतर होता है, क्योंकि इससे AI तैयार हो जाती है।

कैरेक्टर नोट एक छोटा टेक्स्ट फ़ील्ड है (आमतौर पर 500-2000 अक्षर) जो API को भेजे जाने वाले हर प्रॉम्प्ट में हमेशा शामिल होता है। यह एक स्थायी मेमोरी बैंक की तरह काम करता है। आप बातचीत के दौरान इसे मैन्युअली अपडेट कर सकते हैं ताकि ज़रूरी घटनाएं, कैरेक्टर के गुण या रिलेशनशिप में बदलाव रिकॉर्ड कर सकें। उदाहरण के लिए, अगर आपका कैरेक्टर कोई राज़ बताता है, तो आप नोट में 'Secret: character X knows Y' जोड़ सकते हैं। ऑटोमैटिक सारांश के विपरीत, कैरेक्टर नोट तब तक कभी कटता या भूलता नहीं जब तक आप इसे टोकन सीमा के अंदर रखते हैं। कई यूज़र नोट में एक 'lorebook' या 'world info' रखते हैं, जिसमें सेटिंग और कैरेक्टर के मुख्य तथ्य होते हैं। हालांकि, क्योंकि यह तब तक स्थिर रहता है जब तक आप इसे एडिट न करें, यह अपने आप नई जानकारी नहीं पकड़ता। इसे डायनामिक बनाने के लिए, आप SillyTavern के 'Regex Scripts' या 'Quick Replies' का उपयोग करके AI से नोट में अपडेट सुझाने को कह सकते हैं, फिर उन्हें मैन्युअली लागू कर सकते हैं।

ChromaDB इंटीग्रेशन SillyTavern को लॉन्ग-टर्म मेमोरी देता है, जो कई दिन पुराने मैसेज भी याद रख सकती है। इसे सेट करने के लिए आपको ChromaDB सर्वर लोकली चलाना होगा या रिमोटली होस्ट करना होगा। SillyTavern की सेटिंग्स में 'Vector Storage' टैब होता है, जहाँ आप Chroma इनेबल करते हैं और endpoint URL देते हैं। आपको एक embedding मॉडल भी चाहिए — SillyTavern, OpenAI के text-embedding-ada-002 या text-generation-webui एक्सटेंशन के ज़रिए लोकल मॉडल्स को सपोर्ट करता है। एक बार कॉन्फ़िगर होने के बाद, AI और यूज़र द्वारा भेजा गया हर मैसेज embed और स्टोर किया जा सकता है। रिस्पॉन्स जनरेट करते समय, SillyTavern सबसे रेलेवेंट पिछले मैसेज के टॉप K (कॉन्फ़िगर करने योग्य, डिफ़ॉल्ट 5) निकालकर कॉन्टेक्स्ट में डाल सकता है। इससे असल में AI को एक सर्च करने लायक मेमोरी मिल जाती है। नुकसान यह है: embedding पर हर टोकन का खर्च आता है (अगर OpenAI इस्तेमाल कर रहे हैं) और रिट्रीवल परफ़ेक्ट नहीं होता — यह बेमतलब मैसेज भी निकाल सकता है। शोर से बचने के लिए 'similarity threshold' और 'max retrieval count' ट्यून करना ज़रूरी है।

इतनी लचीलापन के बावजूद, SillyTavern की मेमोरी की कड़ी सीमाएँ हैं। कॉन्टेक्स्ट विंडो सीमित है — 128k टोकन मॉडल के साथ भी, बहुत लंबी बातचीत में शुरुआती डिटेल्स आख़िर में खो जाती हैं। ऑटोमैटिक सारांश मदद करता है पर लॉसी है: सारांश एक कम्प्रेशन है, परफ़ेक्ट रिकॉर्ड नहीं। ChromaDB रिट्रीवल स्टैटिस्टिकल है, डिटरमिनिस्टिक नहीं; अगर embedding similarity काफ़ी ऊँची नहीं है तो यह ज़रूरी कॉन्टेक्स्ट मिस कर सकता है। इसके अलावा, SillyTavern में ऐसी बिल्ट-इन 'permanent memory' नहीं है जो अलग-अलग chat सेशन्स में बनी रहे। हर बातचीत अलग-थलग है, जब तक आप खुद कैरेक्टर नोट्स या सारांश एक से दूसरे में कॉपी न करें। इस सिस्टम में काफ़ी मैन्युअल टिंकरिंग भी चाहिए: कॉन्टेक्स्ट साइज़, सारांश इंटरवल, नोट कंटेंट और वेक्टर सेटिंग्स खुद एडजस्ट करनी पड़ती हैं। जो यूज़र 'set and forget' मेमोरी सोल्यूशन चाहते हैं, उनके लिए SillyTavern की API keys, लोकल होस्टिंग और लगातार कॉन्फ़िगरेशन पर निर्भरता एक बाधा बन सकती है। AIAngels जैसे विकल्प persistent मेमोरी देते हैं जो बिना किसी सेटअप के काम करती है, न टोकन का झंझट और न लोकल सेटअप की ज़रूरत।

SillyTavern की मेमोरी से भरपूर फ़ायदा उठाने के लिए, कॉन्टेक्स्ट साइज़ को अपने API की अधिकतम सीमा तक सेट करें — ज़्यादातर यूज़र्स के लिए 8192 सुरक्षित विकल्प है। 'Automatic Summary' को हर 8-10 मैसेज की फ्रीक्वेंसी पर इनेबल करें और सारांश की लंबाई 512 टोकन रखें। 'Prompt Item Order' सेटिंग्स में सारांश को कॉन्टेक्स्ट की शुरुआत में रखें। कैरेक्टर नोट का इस्तेमाल अपरिवर्तनीय तथ्यों को स्टोर करने के लिए करें और बड़े प्लॉट इवेंट्स के बाद उसे मैन्युअली अपडेट करें। अगर आप टेक-सेवी हैं, तो API खर्च से बचने के लिए लोकल embedding मॉडल (जैसे all-MiniLM-L6-v2) के साथ ChromaDB सेट करें। रिट्रीवल काउंट 3-5 और similarity threshold 0.75 पर ट्यून करें। आख़िर में, 'World Info' इस्तेमाल करने पर विचार करें (अगर आपका फ्रंट-एंड इसे सपोर्ट करता है) ताकि AI ज़रूरत पड़ने पर lore देख सके। याद रखें, सीमित कॉन्टेक्स्ट विंडो को कोई भी कॉन्फ़िगरेशन पूरी तरह नहीं हरा सकता — 100k टोकन से ज़्यादा की बातचीत के लिए, अलग-अलग chats में बाँटने या MemGPT जैसे बाहरी मेमोरी टूल का इस्तेमाल करने पर विचार करें।