Mídia externa no SillyTavern em 2026: uma análise de verdade

Mídia externa no SillyTavern refere-se à capacidade de anexar imagens, arquivos de áudio ou outras mídias às mensagens enviadas ao personagem de IA. Quando ativada, o contexto do personagem inclui metadados ou descrições da mídia, permitindo que a IA reconheça e reaja a ela. Esse recurso é compatível com vários backends de API, incluindo KoboldAI, OpenAI (com modelos de visão como GPT-4V) e Claude. A mídia geralmente é convertida em uma descrição de texto ou entrada codificada em base64, dependendo da API. Por exemplo, uma imagem de um pôr do sol pode ser descrita pela IA como "um céu laranja quente sobre um oceano calmo", e o personagem pode incorporar isso ao roleplay. A mídia externa não vem ativada por padrão e exige configuração manual nas configurações da extensão. É uma ferramenta poderosa para aprimorar a escrita criativa, a narrativa visual e aventuras interativas, mas também aumenta o uso de tokens e o tempo de resposta.

Para ativar a mídia externa no SillyTavern, primeiro certifique-se de estar usando uma API compatível. Para OpenAI, você precisa do GPT-4V ou posterior; para KoboldAI, use um modelo com suporte a visão, como o LLaVA. Abra a interface do SillyTavern e navegue até o menu Extensões (ícone de peça de quebra-cabeça). Encontre a extensão 'External Media' ou 'Media Upload' e ative-a. Talvez seja necessário definir um tamanho máximo de arquivo (por exemplo, 5 MB) e os tipos de arquivo permitidos (png, jpg, mp3). Em seguida, configure o endpoint da API: se estiver usando OpenAI, defina o modelo como 'gpt-4-vision-preview' e garanta que sua chave de API tenha acesso. Para KoboldAI, aponte para sua instância local executando um modelo compatível com visão. Após ativar, um botão de upload de mídia (ícone de câmera ou clipe de papel) aparece na barra de entrada do chat. Envie uma imagem ou arquivo de áudio e depois envie a mensagem. A IA processará a mídia e gerará uma resposta referenciando-a. Observe que algumas APIs cobram por token pelo processamento de imagens, então monitore o uso.

A extensão de mídia externa do SillyTavern é compatível com vários formatos: imagens (JPEG, PNG, GIF, WebP), áudio (MP3, WAV, OGG) e, em algumas configurações, vídeo ou PDF. Os limites de tamanho de arquivo dependem do provedor da API. Para o OpenAI GPT-4V, cada imagem pode ter até 20 MB, mas imagens maiores são reduzidas. Modelos locais do KoboldAI podem ter limites menores, normalmente de 5 a 10 MB por arquivo. Arquivos de áudio geralmente são limitados a 25 MB com a integração do Whisper da OpenAI. O próprio SillyTavern não impõe limites rígidos, mas as configurações da extensão permitem definir um tamanho máximo de upload (padrão de 5 MB) e bloquear determinados tipos MIME. Para roleplay, imagens com menos de 2 MB funcionam melhor para um processamento rápido. GIFs animados são compatíveis, mas podem ser tratados como quadros estáticos por algumas APIs. A transcrição de áudio usa o Whisper e consegue lidar com clipes de 30 segundos. Uploads de vídeo são experimentais e exigem conversão em quadros.

O comportamento da mídia externa varia conforme o backend da API. Com o OpenAI GPT-4V, as imagens são processadas de forma nativa — o modelo vê a imagem e consegue descrevê-la com precisão. Isso é ideal para narrativa visual (por exemplo, compartilhar o retrato de um personagem). O KoboldAI com LLaVA ou modelos multimodais semelhantes também é compatível com imagens, mas a qualidade depende do tamanho do modelo (7B vs 13B parâmetros). Para áudio, o Whisper da OpenAI transcreve a fala, que então entra no contexto do chat; o personagem consegue ouvir e responder. O Claude (Anthropic) via proxy também é compatível com entrada de imagem. No entanto, nem todos os modelos são multimodais: se você usar um modelo apenas de texto, a mídia será ignorada ou anexada como um link de texto. Para obter os melhores resultados, escolha um modelo projetado explicitamente para visão ou áudio. A wiki do SillyTavern lista os modelos compatíveis com cada backend. Lembre-se de que processar mídia consome tokens extras — uma imagem pode custar mais de 1.000 tokens, então planeje seu orçamento de acordo.

Enviar mídia externa para o SillyTavern tem implicações de privacidade. Se você usar uma API na nuvem como a OpenAI, suas imagens e áudios são enviados aos servidores deles e processados conforme a política de privacidade deles. Para conteúdo sensível, considere usar uma API local como KoboldAI ou llama.cpp com um modelo multimodal, mantendo todos os dados na sua máquina. O SillyTavern não armazena mídia permanentemente; ela é enviada como parte do contexto do chat e pode ser retida nos registros de chat se você os salvar. As configurações da extensão permitem desativar o registro de mídia. Além disso, esteja ciente de que algumas APIs (por exemplo, OpenAI) podem usar imagens enviadas para treinamento de modelo, a menos que você opte por não participar. Sempre verifique as políticas de tratamento de dados do provedor da API. Para privacidade máxima, execute tudo localmente com um modelo como o LLaVA 13B, que consegue processar imagens na sua GPU sem transmissão externa.

Se a mídia externa não for enviada, primeiro confirme se a chave de API tem permissões para endpoints de visão/áudio. Verifique o console do SillyTavern (F12) em busca de mensagens de erro: '400 Bad Request' geralmente significa que o arquivo é muito grande ou o formato não é compatível. Reduza a resolução da imagem para 1024x1024 pixels ou converta para JPEG. Para áudio, certifique-se de que esteja abaixo de 25 MB e codificado corretamente (mono, 16kHz para o Whisper). Se o modelo ignorar a mídia, provavelmente ele não tem suporte multimodal — mude para GPT-4V ou LLaVA. Outro problema comum é que a extensão 'External Media' está desativada ou em conflito com outras extensões, como 'Character Expressions'. Desative outras extensões uma a uma para isolar o conflito. Em cenários de roleplay, a IA pode não responder à mídia se o cartão do personagem não incluir instruções para reconhecer mídia. Adicione uma observação na descrição do personagem: "Você consegue ver imagens enviadas pelo usuário." Reinicie o SillyTavern depois de alterar as configurações.