Médias externes SillyTavern en 2026 : un vrai test

Les médias externes dans SillyTavern désignent la possibilité de joindre des images, des fichiers audio ou d'autres médias aux messages envoyés au personnage IA. Lorsque cette option est activée, le contexte du personnage inclut les métadonnées ou les descriptions des médias, ce qui permet à l'IA de les reconnaître et d'y réagir. Cette fonctionnalité est prise en charge par plusieurs backends API, notamment KoboldAI, OpenAI (avec des modèles de vision comme GPT-4V) et Claude. Le média est généralement converti en description textuelle ou en entrée encodée en base64, selon l'API. Par exemple, une image de coucher de soleil peut être décrite par l'IA comme « un ciel orange chaud au-dessus d'un océan calme », et le personnage peut intégrer cette description au jeu de rôle. Les médias externes ne sont pas activés par défaut et nécessitent une configuration manuelle dans les paramètres de l'extension. C'est un outil puissant pour enrichir l'écriture créative, la narration visuelle et les aventures interactives, mais il augmente aussi la consommation de tokens et le temps de réponse.

Pour activer les médias externes dans SillyTavern, assurez-vous d'abord d'utiliser une API compatible. Pour OpenAI, il vous faut GPT-4V ou une version ultérieure ; pour KoboldAI, utilisez un modèle compatible avec la vision comme LLaVA. Ouvrez l'interface SillyTavern et accédez au menu Extensions (icône de pièce de puzzle). Trouvez l'extension « External Media » ou « Media Upload » et activez-la. Vous devrez peut-être définir une taille de fichier maximale (par exemple 5 Mo) et les types de fichiers autorisés (png, jpg, mp3). Configurez ensuite le point de terminaison de l'API : si vous utilisez OpenAI, réglez le modèle sur « gpt-4-vision-preview » et vérifiez que votre clé API y a accès. Pour KoboldAI, pointez vers votre instance locale exécutant un modèle compatible avec la vision. Après l'activation, un bouton d'envoi de média (icône d'appareil photo ou de trombone) apparaît dans la barre de saisie du chat. Téléversez une image ou un fichier audio, puis envoyez le message. L'IA traitera le média et générera une réponse qui y fait référence. Notez que certaines API facturent au token le traitement des images, alors surveillez votre consommation.

L'extension de médias externes de SillyTavern prend en charge plusieurs formats : images (JPEG, PNG, GIF, WebP), audio (MP3, WAV, OGG) et, dans certaines configurations, vidéo ou PDF. Les limites de taille de fichier dépendent du fournisseur d'API. Pour OpenAI GPT-4V, chaque image peut aller jusqu'à 20 Mo, mais les images plus grandes sont réduites. Les modèles locaux KoboldAI peuvent avoir des limites plus basses, généralement 5 à 10 Mo par fichier. Les fichiers audio sont généralement limités à 25 Mo avec l'intégration Whisper d'OpenAI. SillyTavern lui-même n'impose pas de limites strictes, mais les paramètres de l'extension vous permettent de définir une taille maximale de téléversement (5 Mo par défaut) et de bloquer certains types MIME. Pour le jeu de rôle, les images de moins de 2 Mo fonctionnent le mieux pour un traitement rapide. Les GIF animés sont pris en charge mais peuvent être traités comme des images fixes par certaines API. La transcription audio utilise Whisper et peut traiter des clips de 30 secondes. Les téléversements de vidéo sont expérimentaux et nécessitent une conversion en images.

Le comportement des médias externes varie selon le backend API. Avec OpenAI GPT-4V, les images sont traitées nativement : le modèle voit l'image et peut la décrire avec précision. C'est idéal pour la narration visuelle (par exemple, partager le portrait d'un personnage). KoboldAI avec LLaVA ou des modèles multimodaux similaires prend aussi en charge les images, mais la qualité dépend de la taille du modèle (7B ou 13B de paramètres). Pour l'audio, Whisper d'OpenAI transcrit la parole, qui entre ensuite dans le contexte du chat ; le personnage peut entendre et répondre. Claude (Anthropic) via un proxy prend également en charge l'entrée d'images. Cependant, tous les modèles ne sont pas multimodaux : si vous utilisez un modèle uniquement textuel, le média est ignoré ou ajouté sous forme de lien texte. Pour obtenir les meilleurs résultats, choisissez un modèle explicitement conçu pour la vision ou l'audio. Le wiki de SillyTavern liste les modèles compatibles pour chaque backend. Gardez à l'esprit que le traitement des médias consomme des tokens supplémentaires : une image peut coûter plus de 1 000 tokens, alors prévoyez votre budget en conséquence.

Téléverser des médias externes dans SillyTavern a des implications en matière de confidentialité. Si vous utilisez une API cloud comme OpenAI, vos images et fichiers audio sont envoyés à leurs serveurs et traités selon leur politique de confidentialité. Pour les contenus sensibles, envisagez d'utiliser une API locale comme KoboldAI ou llama.cpp avec un modèle multimodal, ce qui garde toutes les données sur votre machine. SillyTavern ne stocke pas les médias de manière permanente ; ils sont envoyés dans le cadre du contexte du chat et peuvent être conservés dans les journaux de conversation si vous les enregistrez. Les paramètres de l'extension vous permettent de désactiver la journalisation des médias. Sachez aussi que certaines API (par exemple OpenAI) peuvent utiliser les images téléversées pour l'entraînement du modèle, sauf si vous vous y opposez. Vérifiez toujours les politiques de traitement des données du fournisseur d'API. Pour une confidentialité maximale, exécutez tout en local avec un modèle comme LLaVA 13B, qui peut traiter les images sur votre GPU sans transmission externe.

Si l'envoi de médias externes échoue, vérifiez d'abord que la clé API dispose des autorisations pour les points de terminaison de vision/audio. Consultez la console de SillyTavern (F12) pour les messages d'erreur : « 400 Bad Request » signifie souvent que le fichier est trop volumineux ou que le format n'est pas pris en charge. Réduisez la résolution de l'image à 1 024 x 1 024 pixels ou convertissez-la en JPEG. Pour l'audio, assurez-vous qu'il fait moins de 25 Mo et qu'il est correctement encodé (mono, 16 kHz pour Whisper). Si le modèle ignore le média, il ne prend probablement pas en charge le multimodal : passez à GPT-4V ou LLaVA. Un autre problème courant est que l'extension « External Media » est désactivée ou entre en conflit avec d'autres extensions comme « Character Expressions ». Désactivez les autres extensions une par une pour isoler le conflit. Pour les scénarios de jeu de rôle, l'IA peut ne pas répondre aux médias si la fiche du personnage ne contient pas d'instructions pour les reconnaître. Ajoutez une note dans la description du personnage : « Tu peux voir les images envoyées par l'utilisateur. » Redémarrez SillyTavern après avoir modifié les paramètres.