Внешние медиа в SillyTavern в 2026 году: честный обзор

Внешние медиа в SillyTavern — это возможность прикреплять изображения, аудиофайлы и другие материалы к сообщениям, которые отправляются ИИ-персонажу. Когда функция включена, контекст персонажа содержит метаданные или описания медиа, и ИИ может их распознать и отреагировать. Функция поддерживается через несколько API-бэкендов, включая KoboldAI, OpenAI (с моделями зрения вроде GPT-4V) и Claude. Медиа обычно преобразуется в текстовое описание или входные данные в кодировке base64 — в зависимости от API. Например, изображение заката ИИ может описать как «тёплое оранжевое небо над спокойным океаном», и персонаж включит это в ролевую игру. Внешние медиа не включены по умолчанию и требуют ручной настройки в параметрах расширения. Это мощный инструмент для творческого письма, визуального повествования и интерактивных приключений, но он также увеличивает расход токенов и время ответа.

Чтобы включить внешние медиа в SillyTavern, сначала убедитесь, что вы используете совместимый API. Для OpenAI нужен GPT-4V или новее; для KoboldAI используйте модель с поддержкой зрения, например LLaVA. Откройте интерфейс SillyTavern и перейдите в меню «Расширения» (значок пазла). Найдите расширение «External Media» или «Media Upload» и включите его. Возможно, потребуется задать максимальный размер файла (например, 5 МБ) и разрешённые типы файлов (png, jpg, mp3). Затем настройте конечную точку API: если используете OpenAI, установите модель «gpt-4-vision-preview» и убедитесь, что ваш API-ключ имеет доступ. Для KoboldAI укажите свой локальный экземпляр с моделью, поддерживающей зрение. После включения в панели ввода чата появится кнопка загрузки медиа (значок камеры или скрепки). Загрузите изображение или аудиофайл, затем отправьте сообщение. ИИ обработает медиа и сгенерирует ответ со ссылкой на него. Учтите, что некоторые API берут плату за токены при обработке изображений, поэтому следите за расходом.

Расширение внешних медиа в SillyTavern поддерживает несколько форматов: изображения (JPEG, PNG, GIF, WebP), аудио (MP3, WAV, OGG), а в некоторых конфигурациях — видео или PDF. Ограничения размера файлов зависят от провайдера API. Для OpenAI GPT-4V каждое изображение может быть до 20 МБ, но крупные изображения уменьшаются. Локальные модели KoboldAI могут иметь меньшие лимиты, обычно 5–10 МБ на файл. Аудиофайлы обычно ограничены 25 МБ при интеграции с OpenAI Whisper. Сама SillyTavern не устанавливает жёстких лимитов, но в настройках расширения можно задать максимальный размер загрузки (по умолчанию 5 МБ) и заблокировать определённые MIME-типы. Для ролевой игры лучше всего подходят изображения до 2 МБ — они обрабатываются быстрее. Анимированные GIF поддерживаются, но некоторые API могут обрабатывать их как статичные кадры. Транскрипция аудио использует Whisper и может обрабатывать клипы длительностью 30 секунд. Загрузка видео экспериментальна и требует преобразования в кадры.

Поведение внешних медиа зависит от API-бэкенда. С OpenAI GPT-4V изображения обрабатываются нативно — модель видит изображение и может точно его описать. Это идеально для визуального повествования (например, когда вы делитесь портретом персонажа). KoboldAI с LLaVA или похожими мультимодальными моделями также поддерживает изображения, но качество зависит от размера модели (7B или 13B параметров). Для аудио OpenAI Whisper транскрибирует речь, которая затем попадает в контекст чата; персонаж может слышать и отвечать. Claude (Anthropic) через прокси также поддерживает ввод изображений. Однако не все модели мультимодальны: если вы используете текстовую модель, медиа игнорируется или добавляется как текстовая ссылка. Чтобы получить лучший результат, выбирайте модель, специально разработанную для зрения или аудио. В вики SillyTavern перечислены совместимые модели для каждого бэкенда. Помните, что обработка медиа расходует дополнительные токены — изображение может стоить 1000+ токенов, поэтому планируйте бюджет accordingly.

Загрузка внешних медиа в SillyTavern имеет последствия для приватности. Если вы используете облачный API вроде OpenAI, ваши изображения и аудио отправляются на их серверы и обрабатываются согласно их политике конфиденциальности. Для чувствительного контента рассмотрите локальный API вроде KoboldAI или llama.cpp с мультимодальной моделью — все данные останутся на вашем компьютере. SillyTavern не хранит медиа постоянно; они отправляются как часть контекста чата и могут сохраниться в логах, если вы их сохраняете. В настройках расширения можно отключить логирование медиа. Также учтите, что некоторые API (например, OpenAI) могут использовать загруженные изображения для обучения модели, если вы не откажетесь от этого. Всегда проверяйте политику обработки данных провайдера API. Для максимальной приватности запускайте всё локально с моделью вроде LLaVA 13B, которая может обрабатывать изображения на вашем GPU без внешней передачи.

Если внешние медиа не отправляются, сначала убедитесь, что API-ключ имеет разрешения для конечных точек зрения/аудио. Проверьте консоль SillyTavern (F12) на сообщения об ошибках: «400 Bad Request» часто означает, что файл слишком большой или формат не поддерживается. Уменьшите разрешение изображения до 1024x1024 пикселей или конвертируйте в JPEG. Для аудио убедитесь, что файл меньше 25 МБ и правильно закодирован (моно, 16 кГц для Whisper). Если модель игнорирует медиа, скорее всего, она не поддерживает мультимодальность — переключитесь на GPT-4V или LLaVA. Ещё одна частая проблема — расширение «External Media» отключено или конфликтует с другими расширениями вроде «Character Expressions». Отключайте расширения по одному, чтобы выявить конфликт. В ролевых сценариях ИИ может не реагировать на медиа, если в карточке персонажа нет инструкций распознавать медиа. Добавьте примечание в описание персонажа: «You can see images sent by the user». Перезапустите SillyTavern после изменения настроек.