Продвинутый ИИ: ComfyUI

OpenShot может подключаться к локальному серверу ComfyUI и запускать рабочие процессы искусственного интеллекта из контекстных меню «Файлы проекта» и «Временная шкала». На этой странице объясняется, что это за инструменты, какое оборудование им требуется и где находятся встроенные шаблоны рабочих процессов.

Предупреждение

Функции ИИ в OpenShot являются экспериментальными и требуют мощной рабочей станции.

  • Эти инструменты не рекомендуются для ноутбуков, средних настольных ПК или бюджетных систем.

  • Вы должны запустить локальный сервер ComfyUI.

  • Ожидайте загрузку моделей, настройку и устранение неполадок рабочих процессов.

Установка и настройка

Используйте этот быстрый путь настройки перед использованием любых ИИ-рабочих процессов в OpenShot:

  1. Установите ComfyUI и убедитесь, что он запускается корректно.

  2. Установите необходимые пользовательские узлы (список ниже).

  3. Скачайте необходимые файлы моделей (список ниже) в соответствующие папки моделей.

  4. Запустите ComfyUI, затем откройте Edit->Preferences->Advanced и установите ComfyUI URL.

  5. Нажмите Проверить, чтобы убедиться, что OpenShot может подключиться к серверу.

Для полной информации об установке ComfyUI смотрите официальный репозиторий: ComfyUI на GitHub.

Требуемые пользовательские узлы

Требуемые модели / файлы

  • ComfyUI/custom_nodes/ComfyUI-Frame-Interpolation/ckpts/rife/rife47.pth

  • ComfyUI/models/checkpoints/sd_xl_base_1.0.safetensors

  • ComfyUI/models/checkpoints/sd_xl_refiner_1.0.safetensors

  • ComfyUI/models/checkpoints/stable-audio-open-1.0.safetensors

  • ComfyUI/models/clip_vision/clip_vision_g.safetensors

  • ComfyUI/models/diffusion_models/wan2.2_ti2v_5B_fp16.safetensors

  • ComfyUI/models/grounding-dino/groundingdino_swint_ogc.pth

  • ComfyUI/models/sam2/sam2.1_hiera_base_plus.pt

  • ComfyUI/models/sam2/sam2.1_hiera_small-fp16.safetensors

  • ComfyUI/models/sam2/sam2.1_hiera_small.pt

  • ComfyUI/models/sam2/sam2.1_hiera_tiny-fp16.safetensors

  • ComfyUI/models/sam2/sam2.1_hiera_tiny.pt

  • ComfyUI/models/sam2/sam2_hiera_small.pt

  • ComfyUI/models/stt/whisper/large-v3.pt

  • ComfyUI/models/stt/whisper/medium.pt

  • ComfyUI/models/text_encoders/t5-base.safetensors

  • ComfyUI/models/text_encoders/umt5_xxl_fp8_e4m3fn_scaled.safetensors

  • ComfyUI/models/TTS/Ace-Step1.5/acestep-v15-turbo/silence_latent.pt

  • ComfyUI/models/upscale_models/RealESRGAN_x4plus.safetensors

  • ComfyUI/models/vae/split_files/vae/wan_2.1_vae.safetensors

  • ComfyUI/models/vae/wan_2.1_vae.safetensors

  • ComfyUI/models/vae/wan2.2_vae.safetensors

  • ComfyUI/models/VLM/transnetv2-pytorch-weights/transnetv2-pytorch-weights.pth

Что видят пользователи в OpenShot

Когда ComfyUI доступен, OpenShot отображает инструменты ИИ в контекстных меню:

  • Создать с помощью ИИ для создания новых ресурсов

    ../_images/create-with-ai.jpg

  • Улучшить с помощью ИИ (изображения) для обработки изображений

    ../_images/enhance-with-ai-image.jpg

  • Улучшить с помощью ИИ (видео) для обработки видео

    ../_images/enhance-with-ai-video.jpg

Сгенерированные файлы добавляются в Project Files с индикаторами прогресса и очереди. Результаты сохраняются в папке .openshot_qt/comfyui-output/.

Создание нового проекта или открытие существующего проекта очищает временные рабочие папки AI .openshot_qt, чтобы начать с чистого листа. Ваши сохранённые проекты не затрагиваются, а все ресурсы, ранее скопированные в папку PROJECTNAME_Assets, остаются в каталоге этого проекта.

Если ComfyUI недоступен, OpenShot отключает меню AI. Настройте URL-адрес сервера в Edit->Preferences->Advanced, затем используйте кнопку Check для проверки подключения.

Шаблоны рабочих процессов

OpenShot считывает встроенные шаблоны из comfyui/. Он также загружает пользовательские шаблоны из ~/.openshot_qt/comfyui/.

Чтобы добавить собственный рабочий процесс:

  1. В ComfyUI откройте вкладку рабочего процесса, который хотите использовать.

  2. Выберите Export (API), чтобы сохранить рабочий процесс в файл *.json.

  3. Скопируйте этот JSON-файл в папку ~/.openshot_qt/comfyui/.

  4. Перезапустите OpenShot или при необходимости откройте проект заново.

OpenShot автоматически загрузит рабочий процесс и отобразит его в соответствующем меню AI. При запуске из OpenShot выбранный исходный файл передаётся в рабочий процесс, а результат с конечного узла рабочего процесса импортируется обратно в Project Files.

OpenShot также создаёт файл .openshot_qt/comfyui/debug.json для продвинутых пользователей, желающих проверить точный запрос, отправляемый в ComfyUI.

Диалог действий AI

И Create with AI, и Enhance with AI открывают один и тот же диалог генерации.

../_images/comfyui-prompt-dialog.jpg

Почему этот диалог важен:

  • Он собирает все входные данные AI в одном месте.

  • Он проверяет обязательные поля перед постановкой задачи в очередь.

  • Он позволяет настроить трекинг перед ресурсоёмкими запусками.

Что можно сделать в диалоге:

  • Выберите рабочий процесс/действие.

  • Введите текст запроса.

  • Просмотрите выбранный исходный файл (для рабочих процессов улучшения).

  • Укажите имя для сгенерированного медиафайла.

  • Укажите точки/прямоугольники для трекинга в рабочих процессах.

  • Запустите задачу кнопкой Generate или закройте диалог Cancel.

Трекинг (Маска, Размытие, Выделение)

Рабочие процессы трекинга (Blur…, Highlight…, Mask…) используют экран региона, где вы отмечаете, что включать, а что игнорировать.

../_images/comfyui-tracking-dialog-blue-red-dots.jpg

Почему это важно

Трекинг помогает эффекту оставаться привязанным к движущемуся объекту со временем. Например, вы можете размыть лицо, выделить игрока или создать чистую маску, которая следует за одним и тем же объектом на многих кадрах.

Иконки трекинга

Иконка / Маркер

Значение

Синяя точка

Положительная координата трекинга (точка семени переднего плана/объекта).

Красная точка

Отрицательная координата трекинга (точка семени фона/исключения).

Синий прямоугольник

Положительная область семени (широкая подсказка объекта).

Красный прямоугольник

Отрицательная область семени (широкая подсказка исключения).

Иконка удаления

Очистить все текущие точки трекинга (точки/прямоугольники) и начать заново.

Как работает трекинг

OpenShot отправляет ваши положительные и отрицательные маркеры как координаты семян в модель трекинга, которая создаёт маску для объекта и отслеживает её со временем. Лучшие семена обычно дают более чистые маски и меньше смещения. [sam2]

Как использовать

  1. Выберите кадр, где объект чётко виден.

  2. Начните с одной синей точки на объекте.

  3. Добавляйте красные точки на близлежащем фоне только при необходимости.

  4. Добавляйте прямоугольники, когда нужна быстрая широкая выборка.

  5. Повторяйте на дополнительных кадрах при изменении движения/формы.

Корректировка со временем (ползунок кадров):

  • Перемещайте ползунок кадров к разным моментам в клипе.

  • Добавляйте или корректируйте точки/прямоугольники на кадрах, где трекинг начинает сбиваться.

  • Используйте дополнительные точки семян только там, где это необходимо, особенно при перекрытиях, быстром движении или значительных изменениях формы.

Предварительный просмотр маски (из этого процесса трекинга):

../_images/comfyui-mask-example-preview.jpg

Рекомендации

  • Сначала используйте короткий тестовый клип.

  • Начинайте просто: одной синей точки часто достаточно.

  • Добавляйте больше точек только там, где трекинг не работает.

  • При необходимости добавьте более тонкий набор положительных/отрицательных точек и прямоугольников.

  • Четко разделяйте положительные и отрицательные точки.

  • Если отслеживание становится запутанным, используйте значок удаления и начните заново с более чистых исходных точек.

[sam2]

Проект SAM2 (Segment Anything Model 2): facebookresearch/sam2

Очередь заданий, прогресс и отмена

После нажатия Создать запрос ставится в очередь и выполняется в очереди заданий ИИ OpenShot.

  • Прогресс отображается в Файлах проекта (значки и текст состояния).

  • Готовые результаты импортируются обратно в Файлы проекта.

  • Активные задания можно отменить, щелкнув правой кнопкой мыши созданный файл проекта с индикатором выполнения и выбрав Cancel Job.

  • Результаты сохраняются в каталоге .openshot_qt/comfyui-output/.

Встроенные JSON рабочие процессы

Разделы ниже соответствуют встроенным шаблонам JSON в comfyui/. В каждом подразделе описывается, почему вы можете его использовать, как его запустить, а также ключевые детали.

Создать с помощью ИИ

Изображение… (txt2img-basic)

  • Зачем: Создавать статичные изображения по текстовому запросу.

  • Как: Выберите Создать с помощью ИИ -> Изображение…, введите запрос и создайте.

  • Подробности: Использует comfyui/txt2img-basic.json с sd_xl_base_1.0.safetensors.

Видео… (txt2video-svd)

  • Зачем: Создавать короткие видеоклипы по тексту.

  • Как: Выберите Создать с помощью ИИ -> Видео…, введите запрос и создайте.

  • Подробности: Использует comfyui/txt2video-svd.json с моделями генерации видео WAN.

Звук… (txt2audio-stable-open)

  • Зачем: Создавать немузыкальные аудиозаписи по текстовым запросам.

  • Как: Выберите Создать с помощью ИИ -> Звук…, введите запрос и создайте.

  • Подробности: Использует comfyui/txt2audio-stable-open.json с моделями Stable Audio Open.

Музыка… (txt2music-ace-step)

  • Зачем: Создавать музыку по стилю/тегам (и опционально текстам песен).

  • Как: Выберите Создать с помощью ИИ -> Музыка…, введите текст запроса и создайте.

  • Подробности: Использует comfyui/txt2music-ace-step.json с контрольной точкой Ace-Step 1.5.

Улучшить с помощью ИИ

Изменить стиль изображения… (img2img-basic)

  • Зачем: Изменить стиль существующего изображения, сохраняя исходную композицию.

  • Как: Выберите Улучшить с помощью ИИ для изображения, введите запрос стиля и создайте.

  • Подробности: Использует comfyui/img2img-basic.json с sd_xl_base_1.0.safetensors.

Изображение в видео… (img2video-svd)

  • Зачем: Превратить статичное изображение в сгенерированный видеоклип.

  • Как: Выберите Улучшить с помощью ИИ для изображения, задайте подсказку и создайте.

  • Подробности: Использует comfyui/img2video-svd.json с моделями преобразования изображения в видео через WAN.

Изменить стиль видео… (video2video-basic)

  • Зачем: Применить новый визуальный стиль к исходному видео.

  • Как: Выберите Улучшить с помощью ИИ для видео, введите запрос стиля и создайте.

  • Подробности: Использует comfyui/video2video-basic.json с sd_xl_base_1.0.safetensors.

Увеличить разрешение (изображение) (upscale-realesrgan-x4)

  • Зачем: Повысить разрешение изображений с низким качеством.

  • Как: Выберите Улучшить с помощью ИИ для изображения, выберите увеличение разрешения и создайте.

  • Подробности: Использует comfyui/upscale-realesrgan-x4.json с RealESRGAN_x4plus.safetensors.

Увеличить разрешение (видео) (video-upscale-gan)

  • Зачем: Повысить разрешение кадров видео для большей детализации.

  • Как: Выберите Улучшить с помощью ИИ для видео, выберите увеличение разрешения и создайте.

  • Подробности: Использует comfyui/video-upscale-gan.json с RealESRGAN_x4plus.safetensors.

Плавное движение (удвоение частоты кадров) (video-frame-interpolation-rife2x)

  • Зачем: Увеличить частоту кадров для более плавного восприятия движения.

  • Как: Выберите Улучшить с помощью ИИ для видео, выберите плавное движение и создайте.

  • Подробности: Использует comfyui/video-frame-interpolation-rife2x.json с rife47.pth.

Разделить на сцены (video-segment-scenes-transnet)

  • Зачем: Автоматически обнаруживать смену сцен и разделять длинные клипы на сегменты.

  • Как: Выберите Улучшить с помощью ИИ для видео, выберите разделение на сцены и создайте.

  • Подробности: Использует comfyui/video-segment-scenes-transnet.json с TransNetV2.

Добавить субтитры из речи (video-whisper-srt)

  • Зачем: Транскрибировать речь в файлы субтитров/подписей.

  • Как: Выберите Улучшить с помощью ИИ для видео, выберите субтитры, затем создайте.

  • Подробности: использует comfyui/video-whisper-srt.json и создает выходные данные SRT.

Рабочие процессы отслеживания (SAM2)

Эти рабочие процессы используют одинаковый поток ввода регионов/отслеживания и сгруппированы в контекстном меню отслеживания.

Размытие… (изображение) (image-blur-anything-sam2)

  • Зачем: Размыть выбранные области объекта на неподвижном изображении.

  • Как: Выберите точки/прямоугольники для объекта, затем создайте.

  • Подробности: Использует comfyui/image-blur-anything-sam2.json с сегментацией изображений SAM2.

Выделение… (изображение) (image-highlight-anything-sam2)

  • Зачем: Выделить выбранные области объекта на неподвижном изображении.

  • Как: Выберите точки/прямоугольники для объекта, затем создайте.

  • Подробности: Использует comfyui/image-highlight-anything-sam2.json с сегментацией изображений SAM2.

Маска… (изображение) (image-mask-anything-sam2)

  • Зачем: Создать маску изображения для выбранных областей объекта.

  • Как: Выберите точки/прямоугольники для объекта, затем создайте.

  • Подробности: Использует comfyui/image-mask-anything-sam2.json с сегментацией изображений SAM2.

Размытие… (видео) (video-blur-anything-sam2)

  • Зачем: Отслеживать и размывать движущийся объект в видео.

  • Как: Отметьте объект/фон на экране региона, затем создайте.

  • Подробности: Использует comfyui/video-blur-anything-sam2.json с отслеживанием видео SAM2.

Выделение… (видео) (video-highlight-anything-sam2)

  • Зачем: Отслеживать и выделять движущийся объект в видео.

  • Как: Отметьте объект/фон на экране региона, затем создайте.

  • Подробности: Использует comfyui/video-highlight-anything-sam2.json с отслеживанием видео SAM2.

Маска… (видео) (video-mask-anything-sam2)

  • Зачем: Создать анимированную маску, которая следует за движущимся объектом.

  • Как: Отметьте объект/фон на экране региона, затем создайте.

  • Подробности: Использует comfyui/video-mask-anything-sam2.json с отслеживанием видео SAM2.

Точки начала для новых пользователей

Если вы новичок в этих инструментах, начните с:

  1. Создать с помощью ИИ -> Изображение

  2. Улучшить с помощью ИИ -> Увеличить разрешение

  3. Улучшить с помощью ИИ -> Сгладить движение

  4. Улучшить с помощью ИИ -> Разделить на сцены

  5. Улучшить с помощью ИИ -> Добавить субтитры

Устранение неполадок

Если меню ИИ не появляются или задачи сразу завершаются с ошибкой:

  1. Проверьте, что ComfyUI запущен и доступен по настроенному URL.

  2. Убедитесь, что необходимые модели присутствуют в вашей среде ComfyUI.

  3. Убедитесь, что установлены пользовательские пакеты узлов для выбранного вами рабочего процесса.

  4. Уменьшите размеры пакетов/частей для длинных клипов.

  5. Сначала повторно протестируйте с коротким клипом или неподвижным изображением.

Для общей настройки производительности и кэша смотрите Настройки и Воспроизведение.