Розширений ШІ: ComfyUI

OpenShot може підключатися до локального сервера ComfyUI і запускати робочі процеси ШІ з контекстних меню «Файли проекту» та «Шкала часу». На цій сторінці пояснюється, що це за інструменти, яке апаратне забезпечення для них потрібне та де містяться вбудовані шаблони робочих процесів.

Попередження

Функції ШІ в OpenShot є експериментальними і потребують потужної робочої станції.

  • Ці інструменти не рекомендуються для ноутбуків, середньопродуктивних настільних комп’ютерів або бюджетних систем.

  • Ви повинні запустити локальний сервер ComfyUI.

  • Слід очікувати завантаження моделей, налаштування та усунення неполадок робочих процесів.

Встановлення та налаштування

Використайте цей швидкий шлях налаштування перед спробою будь-якого робочого процесу ШІ в OpenShot:

  1. Встановіть ComfyUI і переконайтеся, що він запускається правильно.

  2. Встановіть необхідні користувацькі вузли (перелічені нижче).

  3. Завантажте необхідні файли моделей (перелічені нижче) у відповідні папки моделей.

  4. Запустіть ComfyUI, потім відкрийте Edit->Preferences->Advanced і встановіть URL-адресу ComfyUI.

  5. Натисніть Перевірити, щоб підтвердити, що OpenShot може підключитися до сервера.

Для повної інформації про встановлення ComfyUI дивіться офіційний репозиторій: ComfyUI на GitHub.

Необхідні користувацькі вузли

Необхідні моделі / файли

  • ComfyUI/custom_nodes/ComfyUI-Frame-Interpolation/ckpts/rife/rife47.pth

  • ComfyUI/models/checkpoints/sd_xl_base_1.0.safetensors

  • ComfyUI/models/checkpoints/sd_xl_refiner_1.0.safetensors

  • ComfyUI/models/checkpoints/stable-audio-open-1.0.safetensors

  • ComfyUI/models/clip_vision/clip_vision_g.safetensors

  • ComfyUI/models/diffusion_models/wan2.2_ti2v_5B_fp16.safetensors

  • ComfyUI/models/grounding-dino/groundingdino_swint_ogc.pth

  • ComfyUI/models/sam2/sam2.1_hiera_base_plus.pt

  • ComfyUI/models/sam2/sam2.1_hiera_small-fp16.safetensors

  • ComfyUI/models/sam2/sam2.1_hiera_small.pt

  • ComfyUI/models/sam2/sam2.1_hiera_tiny-fp16.safetensors

  • ComfyUI/models/sam2/sam2.1_hiera_tiny.pt

  • ComfyUI/models/sam2/sam2_hiera_small.pt

  • ComfyUI/models/stt/whisper/large-v3.pt

  • ComfyUI/models/stt/whisper/medium.pt

  • ComfyUI/models/text_encoders/t5-base.safetensors

  • ComfyUI/models/text_encoders/umt5_xxl_fp8_e4m3fn_scaled.safetensors

  • ComfyUI/models/TTS/Ace-Step1.5/acestep-v15-turbo/silence_latent.pt

  • ComfyUI/models/upscale_models/RealESRGAN_x4plus.safetensors

  • ComfyUI/models/vae/split_files/vae/wan_2.1_vae.safetensors

  • ComfyUI/models/vae/wan_2.1_vae.safetensors

  • ComfyUI/models/vae/wan2.2_vae.safetensors

  • ComfyUI/models/VLM/transnetv2-pytorch-weights/transnetv2-pytorch-weights.pth

Що бачать користувачі в OpenShot

Коли ComfyUI доступний, OpenShot показує інструменти ШІ в контекстних меню:

  • Створити за допомогою ШІ для створення нових ресурсів

    ../_images/create-with-ai.jpg

  • Покращити за допомогою ШІ (зображення) для обробки зображень

    ../_images/enhance-with-ai-image.jpg

  • Покращити за допомогою ШІ (відео) для обробки відео

    ../_images/enhance-with-ai-video.jpg

Згенеровані файли додаються до Project Files з текстом прогресу та значками черги. Виводи зберігаються у папці .openshot_qt/comfyui-output/.

Початок нового проєкту або відкриття існуючого проєкту очищує тимчасові робочі папки AI .openshot_qt, щоб ви почали з чистого аркуша. Ваші збережені проєкти не зачіпаються, а будь-які ресурси, раніше скопійовані у папку PROJECTNAME_Assets, залишаються у директорії цього проєкту.

Якщо ComfyUI недоступний, OpenShot вимикає меню ШІ. Налаштуйте URL-адресу сервера в Edit->Preferences->Advanced, а потім скористайтеся Check кнопкою для перевірки підключення.

Шаблони робочих процесів

OpenShot читає вбудовані шаблони з comfyui/. Він також завантажує власні шаблони користувачів із ~/.openshot_qt/comfyui/.

Щоб додати власний робочий процес:

  1. У ComfyUI відкрийте вкладку робочого процесу, яку хочете використовувати.

  2. Виберіть Export (API), щоб зберегти робочий процес у файл *.json.

  3. Скопіюйте цей JSON-файл у ~/.openshot_qt/comfyui/.

  4. Перезапустіть OpenShot або за потреби знову відкрийте проєкт.

OpenShot автоматично завантажить робочий процес і покаже його у відповідному меню AI. Коли ви запускаєте його з OpenShot, вибраний вихідний файл передається у робочий процес, а вивід з кінцевого вузла робочого процесу імпортується назад у Project Files.

OpenShot також записує файл .openshot_qt/comfyui/debug.json для просунутих користувачів, які хочуть перевірити точний запит, надісланий до ComfyUI.

Діалог дії AI

Обидва Create with AI та Enhance with AI відкривають однаковий діалог генерації.

../_images/comfyui-prompt-dialog.jpg

Чому цей діалог важливий:

  • Він зберігає всі вхідні дані AI в одному місці.

  • Він перевіряє обов’язкові поля перед додаванням завдання до черги.

  • Він дозволяє налаштувати підказки для відстеження перед дорогими запусками.

Що ви можете зробити в діалозі:

  • Виберіть робочий процес/дію.

  • Введіть текст підказки.

  • Перегляньте вибраний вихідний файл (для робочих процесів покращення).

  • Встановіть ім’я виводу для згенерованих медіа.

  • Надайте точки/прямокутники відстеження для робочих процесів відстеження.

  • Запустіть завдання за допомогою Generate або закрийте за допомогою Cancel.

Відстеження (Маска, Розмиття, Підсвітка)

Робочі процеси відстеження (Blur…, Highlight…, Mask…) використовують екран регіону, де ви позначаєте, що включати, а що ігнорувати.

../_images/comfyui-tracking-dialog-blue-red-dots.jpg

Чому це важливо

Відстеження допомагає вашому ефекту залишатися прив’язаним до рухомого об’єкта з часом. Наприклад, ви можете розмити обличчя, підсвітити гравця або створити чисту маску, що слідує за тим самим об’єктом через багато кадрів.

Іконки відстеження

Іконка / Маркер

Значення

Синя крапка

Позитивна координата відстеження (точка насіння переднього плану/об’єкта).

Червона крапка

Негативна координата відстеження (точка насіння фону/виключення).

Синій прямокутник

Позитивна область насіння (широка підказка об’єкта).

Червоний прямокутник

Негативна область насіння (широка підказка виключення).

Видалити іконку

Очистити всі поточні точки відстеження (крапки/прямокутники) і почати заново.

Як працює відстеження

OpenShot надсилає ваші позитивні та негативні маркери як координати насіння до моделі відстеження, яка створює маску для об’єкта і потім слідкує за ним з часом. Кращі насіння зазвичай дають чистіші маски та менше зсувів. [sam2]

Як це використовувати

  1. Виберіть кадр, де об’єкт чітко видно.

  2. Почніть з однієї синьої крапки на об’єкті.

  3. Додавайте червоні крапки на сусідньому фоні лише за потреби.

  4. Додавайте прямокутники, коли потрібен швидший широкий вибір.

  5. Повторюйте на додаткових кадрах, коли змінюється рух/форма.

Регулювання з часом (повзунок кадру):

  • Переміщуйте повзунок кадру до різних моментів у кліпі.

  • Додавайте або коригуйте крапки/прямокутники на кадрах, де відстеження починає зсуватися.

  • Використовуйте додаткові точки насіння лише там, де це потрібно, особливо при затемненнях, швидкому русі або значних змінах форми.

Попередній перегляд маски (з цього процесу відстеження):

../_images/comfyui-mask-example-preview.jpg

Кращі практики

  • Спочатку використовуйте короткий тестовий кліп.

  • Починайте просто: часто достатньо однієї синьої крапки.

  • Додавайте більше точок лише там, де відстеження не працює.

  • За потреби додайте більш деталізований набір позитивних/негативних точок і прямокутників.

  • Чітко розділяйте позитивні та негативні точки.

  • Якщо відстеження стає заплутаним, використайте значок Видалити та почніть заново з чистішими початковими точками.

[sam2]

Проєкт SAM2 (Segment Anything Model 2): facebookresearch/sam2

Черга завдань, прогрес і скасування

Після натискання Створити запит ставиться в чергу і виконується в черзі завдань ШІ OpenShot.

  • Прогрес відображається в Файлах проєкту (значки та текст статусу).

  • Готові результати імпортуються назад у Файли проєкту.

  • Активні завдання можна скасувати, клацнувши правою кнопкою миші створений файл проекту з індикатором прогресу та вибравши Скасувати завдання.

  • Результати записуються у папку .openshot_qt/comfyui-output/.

Вбудовані робочі процеси JSON

Наведені нижче розділи відображаються безпосередньо на вбудовані шаблони JSON у comfyui/. У кожному підрозділі описано, чому ви можете його використовувати, як його запустити та ключові деталі.

Створити за допомогою ШІ

Зображення… (txt2img-basic)

  • Чому: Створення статичних зображень за текстовим запитом.

  • Як: Виберіть Створити за допомогою ШІ -> Зображення…, введіть запит, потім створіть.

  • Подробиці: використовує comfyui/txt2img-basic.json з sd_xl_base_1.0.safetensors.

Відео… (txt2video-svd)

  • Чому: Створення коротких відеокліпів за текстом.

  • Як: Виберіть Створити за допомогою ШІ -> Відео…, введіть запит, потім створіть.

  • Подробиці: використовує comfyui/txt2video-svd.json з моделями створення відео WAN.

Звук… (txt2audio-stable-open)

  • Чому: Створення немузичного аудіо за текстовими запитами.

  • Як: Виберіть Створити за допомогою ШІ -> Звук…, введіть запит, потім створіть.

  • Деталі: використовує comfyui/txt2audio-stable-open.json з моделями Stable Audio Open.

Музика… (txt2music-ace-step)

  • Чому: Створення музики за стилем/тегами (та за бажанням текстом пісні).

  • Як: Виберіть Створити за допомогою ШІ -> Музика…, введіть текст запиту, потім створіть.

  • Деталі: використовує comfyui/txt2music-ace-step.json з контрольною точкою Ace-Step 1.5.

Покращити за допомогою ШІ

Змінити стиль зображення… (img2img-basic)

  • Чому: Змінити стиль існуючого зображення, зберігаючи композицію.

  • Як: Виберіть Покращити за допомогою ШІ для зображення, введіть стильовий запит, потім створіть.

  • Деталі: використовує comfyui/img2img-basic.json з sd_xl_base_1.0.safetensors.

Зображення у відео… (img2video-svd)

  • Чому: Перетворити статичне зображення на згенерований відеокадр.

  • Як: Виберіть Покращити за допомогою ШІ для зображення, надайте керівництво запитом, потім створіть.

  • Деталі: використовує comfyui/img2video-svd.json з моделями зображення-відео WAN.

Змінити стиль відео… (video2video-basic)

  • Чому: Застосувати новий візуальний стиль до вихідного відео.

  • Як: Виберіть Покращити за допомогою ШІ для відео, введіть стильовий запит, потім створіть.

  • Деталі: використовує comfyui/video2video-basic.json з sd_xl_base_1.0.safetensors.

Підвищити роздільну здатність (зображення) (upscale-realesrgan-x4)

  • Чому: Підвищити роздільну здатність зображень низької якості.

  • Як: Виберіть Покращити за допомогою ШІ для зображення, оберіть підвищення роздільної здатності, потім створіть.

  • Деталі: використовує comfyui/upscale-realesrgan-x4.json з RealESRGAN_x4plus.safetensors.

Підвищити роздільну здатність (відео) (video-upscale-gan)

  • Чому: Підвищити роздільну здатність кадрів відео для більшої деталізації.

  • Як: Виберіть Покращити за допомогою ШІ для відео, оберіть підвищення роздільної здатності, потім створіть.

  • Деталі: використовує comfyui/video-upscale-gan.json з RealESRGAN_x4plus.safetensors.

Плавний рух (подвійна частота кадрів) (video-frame-interpolation-rife2x)

  • Чому: Підвищити частоту кадрів для більш плавного сприйняття руху.

  • Як: Виберіть Покращити за допомогою ШІ для відео, оберіть плавний рух, потім створіть.

  • Деталі: використовує comfyui/video-frame-interpolation-rife2x.json з rife47.pth.

Розділити на сцени (video-segment-scenes-transnet)

  • Чому: Автоматично виявляти зміни сцен і розділяти довгі кліпи на сегменти.

  • Як: Виберіть Покращити за допомогою ШІ для відео, оберіть розділення на сцени, потім створіть.

  • Подробиці: використовує comfyui/video-segment-scenes-transnet.json з TransNetV2.

Додати субтитри з мовлення (video-whisper-srt)

  • Чому: Транскрибувати мовлення у файли субтитрів/підписів.

  • Як: Виберіть Покращити за допомогою AI для відео, оберіть субтитри, а потім згенеруйте.

  • Деталі: використовує comfyui/video-whisper-srt.json і створює вихід SRT.

Процеси відстеження (SAM2)

Ці процеси використовують однаковий потік введення регіону/відстеження і згруповані в контекстному меню відстеження.

Розмиття… (зображення) (image-blur-anything-sam2)

  • Чому: Розмити вибрані області об’єкта на нерухомому зображенні.

  • Як: Виберіть точки/прямокутники для об’єкта, а потім згенеруйте.

  • Деталі: використовує comfyui/image-blur-anything-sam2.json із сегментацією зображення SAM2.

Виділення… (зображення) (image-highlight-anything-sam2)

  • Чому: Підкреслити вибрані області об’єкта на нерухомому зображенні.

  • Як: Виберіть точки/прямокутники для об’єкта, а потім згенеруйте.

  • Деталі: використовує comfyui/image-highlight-anything-sam2.json із сегментацією зображення SAM2.

Маска… (зображення) (image-mask-anything-sam2)

  • Чому: Створити маску зображення для вибраних областей об’єкта.

  • Як: Виберіть точки/прямокутники для об’єкта, а потім згенеруйте.

  • Деталі: використовує comfyui/image-mask-anything-sam2.json із сегментацією зображення SAM2.

Розмиття… (відео) (video-blur-anything-sam2)

  • Чому: Відстежувати та розмити рухомий об’єкт у відео.

  • Як: Позначте об’єкт/фон на екрані регіону, а потім згенеруйте.

  • Деталі: використовує comfyui/video-blur-anything-sam2.json із відстеженням відео SAM2.

Виділення… (відео) (video-highlight-anything-sam2)

  • Чому: Відстежувати та виділяти рухомий об’єкт у відео.

  • Як: Позначте об’єкт/фон на екрані регіону, а потім згенеруйте.

  • Деталі: використовує comfyui/video-highlight-anything-sam2.json із відстеженням відео SAM2.

Маска… (відео) (video-mask-anything-sam2)

  • Чому: Створити анімовану маску, що слідує за рухомим об’єктом.

  • Як: Позначте об’єкт/фон на екрані регіону, а потім згенеруйте.

  • Деталі: використовує comfyui/video-mask-anything-sam2.json із відстеженням відео SAM2.

Початкові кроки для нових користувачів

Якщо ви новачок у цих інструментах, почніть з:

  1. Створити за допомогою AI -> Зображення

  2. Покращити за допомогою AI -> Підвищити роздільну здатність

  3. Покращити за допомогою AI -> Згладити рух

  4. Покращити за допомогою AI -> Розділити на сцени

  5. Покращити за допомогою AI -> Додати субтитри

Вирішення проблем

Якщо меню AI не з’являються або завдання відразу не виконуються:

  1. Переконайтеся, що ComfyUI запущено і він доступний за налаштованою URL-адресою.

  2. Підтвердіть, що необхідні моделі існують у вашому середовищі ComfyUI.

  3. Підтвердіть, що встановлені пакети користувацьких вузлів для обраного вами процесу.

  4. Зменшіть розмір пакетів/фрагментів для довгих кліпів.

  5. Спочатку повторно протестуйте з коротким кліпом або нерухомим зображенням.

Для загального налаштування продуктивності та кешу див. Налаштування та Відтворення.