Media esterni in SillyTavern nel 2026: una recensione reale

Per media esterni in SillyTavern si intende la capacità di allegare immagini, file audio o altri media ai messaggi inviati alla personaggia AI. Quando è attiva, il contesto della personaggia include metadati o descrizioni dei media, permettendo all'AI di riconoscerli e reagire. Questa funzione è supportata da diversi backend API, tra cui KoboldAI, OpenAI (con modelli di visione come GPT-4V) e Claude. I media vengono di solito convertiti in una descrizione testuale o in un input codificato in base64, a seconda dell'API. Per esempio, un'immagine di un tramonto può essere descritta dall'AI come "un cielo arancione caldo su un oceano calmo", e la personaggia può integrarla nel roleplay. I media esterni non sono attivi di default e richiedono una configurazione manuale nelle impostazioni dell'estensione. È uno strumento potente per arricchire la scrittura creativa, la narrazione visiva e le avventure interattive, ma aumenta anche l'uso dei token e i tempi di risposta.

Per attivare i media esterni in SillyTavern, assicurati prima di usare un'API compatibile. Per OpenAI ti serve GPT-4V o successivo; per KoboldAI usa un modello con supporto alla visione come LLaVA. Apri l'interfaccia di SillyTavern e vai al menu Extensions (icona del pezzo di puzzle). Trova l'estensione 'External Media' o 'Media Upload' e attivala. Potresti dover impostare una dimensione massima dei file (ad esempio 5 MB) e i tipi di file consentiti (png, jpg, mp3). Poi configura l'endpoint dell'API: se usi OpenAI, imposta il modello su 'gpt-4-vision-preview' e assicurati che la tua API key abbia accesso. Per KoboldAI, punta alla tua istanza locale che esegue un modello compatibile con la visione. Dopo l'attivazione, nella barra di input della chat compare un pulsante di caricamento media (icona della fotocamera o della graffetta). Carica un'immagine o un file audio, poi invia il messaggio. L'AI elaborerà il media e genererà una risposta che lo cita. Tieni presente che alcune API fanno pagare per token l'elaborazione delle immagini, quindi monitora l'utilizzo.

L'estensione dei media esterni di SillyTavern supporta diversi formati: immagini (JPEG, PNG, GIF, WebP), audio (MP3, WAV, OGG) e, in alcune configurazioni, video o PDF. I limiti di dimensione dei file dipendono dal provider dell'API. Per OpenAI GPT-4V, ogni immagine può arrivare a 20 MB, ma le immagini più grandi vengono ridimensionate. I modelli locali KoboldAI possono avere limiti più bassi, di solito 5-10 MB per file. I file audio sono generalmente limitati a 25 MB con l'integrazione Whisper di OpenAI. SillyTavern in sé non impone limiti rigidi, ma le impostazioni dell'estensione ti permettono di fissare una dimensione massima di caricamento (5 MB di default) e bloccare certi tipi MIME. Per il roleplay, le immagini sotto i 2 MB funzionano meglio per un'elaborazione rapida. Le GIF animate sono supportate ma possono essere trattate come fotogrammi statici da alcune API. La trascrizione audio usa Whisper e può gestire clip di 30 secondi. Il caricamento dei video è sperimentale e richiede la conversione in fotogrammi.

Il comportamento dei media esterni varia a seconda del backend API. Con OpenAI GPT-4V, le immagini vengono elaborate nativamente: il modello vede l'immagine e può descriverla accuratamente. Questo è l'ideale per la narrazione visiva (ad esempio, condividere il ritratto di una compagna). Anche KoboldAI con LLaVA o modelli multimodali simili supporta le immagini, ma la qualità dipende dalla dimensione del modello (7B vs 13B parametri). Per l'audio, Whisper di OpenAI trascrive il parlato, che poi entra nel contesto della chat; la compagna può sentire e rispondere. Anche Claude (Anthropic) tramite proxy supporta l'input di immagini. Tuttavia, non tutti i modelli sono multimodali: se usi un modello solo testuale, i media vengono ignorati o aggiunti come link testuale. Per ottenere i risultati migliori, scegli un modello progettato esplicitamente per la visione o l'audio. La wiki di SillyTavern elenca i modelli compatibili per ogni backend. Tieni presente che l'elaborazione dei media consuma token extra: un'immagine può costare 1.000+ token, quindi pianifica di conseguenza.

Caricare media esterni su SillyTavern ha implicazioni sulla privacy. Se usi un'API cloud come OpenAI, le tue immagini e i tuoi audio vengono inviati ai loro server ed elaborati secondo la loro informativa sulla privacy. Per contenuti sensibili, considera di usare un'API locale come KoboldAI o llama.cpp con un modello multimodale, mantenendo tutti i dati sulla tua macchina. SillyTavern non memorizza i media in modo permanente; vengono inviati come parte del contesto della chat e possono essere conservati nei log della chat se li salvi. Le impostazioni dell'estensione ti permettono di disattivare la registrazione dei media. Inoltre, tieni presente che alcune API (ad esempio OpenAI) possono usare le immagini caricate per l'addestramento del modello, a meno che tu non ti opponga. Controlla sempre le politiche di gestione dei dati del provider API. Per la massima privacy, esegui tutto localmente con un modello come LLaVA 13B, che può elaborare le immagini sulla tua GPU senza trasmissione esterna.

Se i media esterni non vengono inviati, verifica prima che la chiave API abbia i permessi per gli endpoint di visione/audio. Controlla la console di SillyTavern (F12) per i messaggi di errore: '400 Bad Request' spesso significa che il file è troppo grande o il formato non è supportato. Riduci la risoluzione dell'immagine a 1024x1024 pixel o convertila in JPEG. Per l'audio, assicurati che sia sotto i 25 MB e codificato correttamente (mono, 16kHz per Whisper). Se il modello ignora i media, probabilmente non ha il supporto multimodale: passa a GPT-4V o LLaVA. Un altro problema comune è che l'estensione 'External Media' è disattivata o in conflitto con altre estensioni come 'Character Expressions'. Disattiva le altre estensioni una per una per isolare il conflitto. Per gli scenari di roleplay, l'AI potrebbe non rispondere ai media se la scheda del personaggio non include istruzioni per riconoscere i media. Aggiungi una nota nella descrizione del personaggio: "Puoi vedere le immagini inviate dall'utente." Riavvia SillyTavern dopo aver modificato le impostazioni.