Geavanceerde AI: ComfyUI

OpenShot kan verbinding maken met een lokale ComfyUI server en AI-workflows uitvoeren vanuit de contextmenu’s Projectbestanden en Tijdlijn. Op deze pagina wordt uitgelegd wat deze tools zijn, welke hardware ze vereisen en waar de ingebouwde workflow-sjablonen zich bevinden.

Waarschuwing

AI-functies in OpenShot zijn experimenteel en vereisen een high-end werkstation.

  • Deze tools worden niet aanbevolen voor laptops, mid-range desktops of budgetsystemen.

  • Je moet een lokale ComfyUI server draaien.

  • Je moet rekening houden met het downloaden van modellen, installatiewerk en het oplossen van problemen met workflows.

Installatie en configuratie

Gebruik dit snelle installatiepad voordat je een AI-workflow in OpenShot probeert:

  1. Installeer ComfyUI en bevestig dat het correct start.

  2. Installeer de vereiste aangepaste knooppunten (hieronder vermeld).

  3. Download de vereiste modelbestanden (hieronder vermeld) in de bijbehorende modelfolders.

  4. Start ComfyUI, open vervolgens Bewerken->Voorkeuren->Geavanceerd en stel ComfyUI URL in.

  5. Klik op Controleren om te bevestigen dat OpenShot de server kan bereiken.

Voor een volledige stapsgewijze serverinstallatiehandleiding, zie de OpenShot wiki: ComfyUI: Advanced AI Setup Guide.

Voor volledige installatie-instructies van ComfyUI, zie de officiële repository: ComfyUI op GitHub.

Vereiste aangepaste knooppunten

Vereiste modellen / bestanden

  • ComfyUI/models/diffusion_models/wan2.1_vace_1.3B_fp16.safetensors

  • ComfyUI/custom_nodes/ComfyUI-Frame-Interpolation/ckpts/rife/rife47.pth

  • ComfyUI/models/checkpoints/sd_xl_base_1.0.safetensors

  • ComfyUI/models/checkpoints/sd_xl_refiner_1.0.safetensors

  • ComfyUI/models/checkpoints/stable-audio-open-1.0.safetensors

  • ComfyUI/models/clip_vision/clip_vision_g.safetensors

  • ComfyUI/models/diffusion_models/wan2.2_ti2v_5B_fp16.safetensors

  • ComfyUI/models/grounding-dino/groundingdino_swint_ogc.pth

  • ComfyUI/models/sam2/sam2.1_hiera_base_plus.pt

  • ComfyUI/models/sam2/sam2.1_hiera_small-fp16.safetensors

  • ComfyUI/models/sam2/sam2.1_hiera_small.pt

  • ComfyUI/models/sam2/sam2.1_hiera_tiny-fp16.safetensors

  • ComfyUI/models/sam2/sam2.1_hiera_tiny.pt

  • ComfyUI/models/sam2/sam2_hiera_small.pt

  • ComfyUI/models/stt/whisper/large-v3.pt

  • ComfyUI/models/stt/whisper/medium.pt

  • ComfyUI/models/text_encoders/t5-base.safetensors

  • ComfyUI/models/text_encoders/umt5_xxl_fp8_e4m3fn_scaled.safetensors

  • ComfyUI/models/TTS/Ace-Step1.5/acestep-v15-turbo/silence_latent.pt

  • ComfyUI/models/upscale_models/RealESRGAN_x4plus.safetensors

  • ComfyUI/models/vae/wan_2.1_vae.safetensors

  • ComfyUI/models/vae/wan2.2_vae.safetensors

  • ComfyUI/models/VLM/transnetv2-pytorch-weights/transnetv2-pytorch-weights.pth

Wat gebruikers zien in OpenShot

Wanneer ComfyUI beschikbaar is, toont OpenShot AI-tools in contextmenu’s:

  • Maak met AI voor het maken van nieuwe assets

    ../_images/create-with-ai.jpg

  • Verbeter met AI (afbeeldingen) voor het verwerken van afbeeldingsassets

    ../_images/enhance-with-ai-image.jpg

  • Verbeter met AI (video’s) voor het verwerken van video-assets

    ../_images/enhance-with-ai-video.jpg

Gegenereerde bestanden worden toegevoegd aan Projectbestanden met voortgangstekst en wachtrijbadges. Uitvoer wordt opgeslagen onder .openshot_qt/comfyui-output/.

Het starten van een nieuw project of het openen van een bestaand project maakt de tijdelijke .openshot_qt AI-werkmappen leeg zodat je met een schone lei begint. Je opgeslagen projecten worden niet beïnvloed, en alle eerder gekopieerde assets in een PROJECTNAME_Assets map blijven in de directory van dat project.

Als ComfyUI niet beschikbaar is, schakelt OpenShot de AI-menu’s uit. Configureer de server-URL in Bewerken->Voorkeuren->Geavanceerd en gebruik vervolgens de knop Check om de connectiviteit te testen.

Workflow-sjablonen

OpenShot leest ingebouwde sjablonen van comfyui/. Het laadt ook aangepaste gebruikerssjablonen van ~/.openshot_qt/comfyui/.

Om je eigen workflow toe te voegen:

  1. Open in ComfyUI het workflow-tabblad dat je wilt gebruiken.

  2. Kies Exporteren (API) om de workflow op te slaan als een *.json bestand.

  3. Kopieer dat JSON-bestand naar ~/.openshot_qt/comfyui/.

  4. Herstart OpenShot, of open het project opnieuw indien nodig.

OpenShot laadt de workflow automatisch en toont deze in het juiste AI-menu. Wanneer je het vanuit OpenShot activeert, wordt het geselecteerde bronbestand doorgegeven aan de workflow, en wordt de uitvoer van de laatste uitvoerknoop van de workflow geïmporteerd in Projectbestanden.

OpenShot schrijft ook een .openshot_qt/comfyui/debug.json payload voor gevorderde gebruikers die de exacte aanvraag aan ComfyUI willen inspecteren.

AI Actiedialoog

Zowel Maken met AI als Verbeteren met AI openen dezelfde generatie-dialoog.

../_images/comfyui-prompt-dialog.jpg

Waarom deze dialoog belangrijk is:

  • Het houdt alle AI-invoer op één plek.

  • Het valideert verplichte velden voordat de taak in de wachtrij wordt geplaatst.

  • Het stelt je in staat om tracking prompts in te stellen vóór dure bewerkingen.

Wat je in de dialoog kunt doen:

  • Kies de workflow/actie.

  • Voer de prompttekst in.

  • Bekijk een voorbeeld van het geselecteerde bronbestand (voor verbeter-workflows).

  • Stel de uitvoernaam in voor gegenereerde media.

  • Kies een referentieafbeelding in het Referentie tabblad voor workflows die er een vereisen.

  • Geef trackingpunten/rechthoeken op voor tracking-workflows.

  • Start de taak met Genereren of sluit af met Annuleren.

Tracking (Masker, Vervagen, Markeren)

Tracking-workflows (Vervagen…, Markeren…, Masker…) gebruiken een regio-scherm waar je aangeeft wat je wilt opnemen en wat je wilt negeren.

../_images/comfyui-tracking-dialog-blue-red-dots.jpg

Waarom dit belangrijk is

Tracking helpt je effect verbonden te blijven met een bewegend onderwerp in de tijd. Bijvoorbeeld, je kunt een gezicht vervagen, een speler markeren, of een schoon masker genereren dat hetzelfde object over meerdere frames volgt.

Tracking-pictogrammen

Pictogram / Marker

Betekenis

Blauwe stip

Positieve trackingcoördinaat (voorgrond/onderwerp zaadpunt).

Rode stip

Negatieve trackingcoördinaat (achtergrond/uitsluitings-zaadpunt).

Blauw rechthoek

Positief regiozaad (brede onderwerp hint).

Rood rechthoek

Negatief regiozaad (brede uitsluitingshint).

Verwijder pictogram

Wis alle huidige tracking-zaadpunten (punten/rechthoeken) en begin opnieuw.

Hoe tracking werkt

OpenShot stuurt je positieve en negatieve markers als zaadcoördinaten naar het trackingmodel, dat een masker voor het onderwerp bouwt en dit vervolgens in de tijd volgt. Betere zaadpunten zorgen meestal voor schonere maskers en minder drift. [sam2]

Hoe het te gebruiken

  1. Kies een frame waar het onderwerp duidelijk zichtbaar is.

  2. Begin met één blauwe stip op het onderwerp.

  3. Voeg rode stippen toe op de nabijgelegen achtergrond alleen indien nodig.

  4. Voeg rechthoeken toe wanneer je een snellere brede selectie nodig hebt.

  5. Herhaal op extra frames wanneer beweging/vorm verandert.

Aanpassen in de tijd (frameschuifregelaar):

  • Verplaats de frameschuifregelaar naar verschillende momenten in de clip.

  • Voeg stippen/rechthoeken toe of pas ze aan op frames waar tracking begint te driften.

  • Gebruik extra zaadpunten alleen waar nodig, vooral bij occlusies, snelle bewegingen of grote vormveranderingen.

Maskervoorbeelduitvoer (van dit trackingproces):

../_images/comfyui-mask-example-preview.jpg

Beste werkwijzen

  • Gebruik eerst een korte testclip.

  • Begin eenvoudig: één enkele blauwe stip is vaak voldoende.

  • Voeg meer punten toe alleen waar tracking faalt.

  • Voeg indien nodig een meer genuanceerde set positieve/negatieve punten en rechthoeken toe.

  • Houd positieve en negatieve punten duidelijk gescheiden.

  • Als het volgen rommelig wordt, gebruik dan het Verwijder-pictogram en begin opnieuw met schonere startpunten.

[sam2]

SAM2 (Segment Anything Model 2) project: facebookresearch/sam2

Taakwachtrij, voortgang en annuleren

Nadat u op Genereren klikt, wordt het verzoek in de wachtrij geplaatst en uitgevoerd in de AI-taakwachtrij van OpenShot.

  • Voortgang wordt weergegeven in Projectbestanden (badges en statustekst).

  • Voltooide uitvoer wordt terug geïmporteerd in Projectbestanden.

  • Actieve opdrachten kunnen worden geannuleerd door met de rechtermuisknop op het gegenereerde projectbestand met de voortgangsbalk te klikken en Taak annuleren te kiezen.

  • Uitvoer wordt opgeslagen onder .openshot_qt/comfyui-output/.

Ingebouwde JSON-werkstromen

De onderstaande secties verwijzen rechtstreeks naar ingebouwde JSON-sjablonen in comfyui/. Elke subsectie beschrijft waarom u het zou kunnen gebruiken, hoe u het moet uitvoeren en de belangrijkste details.

Creëren met AI

Afbeelding… (txt2img-basic)

  • Waarom: Genereer stilstaande beelden vanuit een tekstprompt.

  • Hoe: Kies Creëren met AI -> Afbeelding…, voer een prompt in en genereer.

  • Details: Gebruikt comfyui/txt2img-basic.json met sd_xl_base_1.0.safetensors.

Video… (txt2video-svd)

  • Waarom: Genereer korte videoclips vanuit tekst.

  • Hoe: Kies Creëren met AI -> Video…, voer een prompt in en genereer.

  • Details: Gebruikt comfyui/txt2video-svd.json met WAN-videogeneratiemodellen.

Geluid… (txt2audio-stable-open)

  • Waarom: Genereer niet-muzikale audio vanuit tekstprompts.

  • Hoe: Kies Creëren met AI -> Geluid…, voer een prompt in en genereer.

  • Details: Gebruikt comfyui/txt2audio-stable-open.json met Stable Audio Open-modellen.

Muziek… (txt2music-ace-step)

  • Waarom: Genereer muziek vanuit stijl/tags (en optionele songteksten).

  • Hoe: Kies Creëren met AI -> Muziek…, voer prompttekst in en genereer.

  • Details: Gebruikt comfyui/txt2music-ace-step.json met een Ace-Step 1.5 checkpoint.

Verbeteren met AI

Afbeeldingsstijl wijzigen… (img2img-basic)

  • Waarom: Geef een bestaande afbeelding een nieuwe stijl terwijl de broncompositie behouden blijft.

  • Hoe: Kies Verbeteren met AI op een afbeelding, voer een stijlprompt in en genereer.

  • Details: gebruikt comfyui/img2img-basic.json met sd_xl_base_1.0.safetensors.

Diepte (image-extract-depth)

  • Waarom: Exporteer een grijswaarden dieptemap-afbeelding van een bronafbeelding.

  • Hoe: Kies Verbeter met AI -> Extraheer -> Diepte op een afbeelding, en genereer dan.

  • Details: Gebruikt comfyui/image-extract-depth.json met DepthAnythingV2Preprocessor.

Lijnen (image-extract-lines)

  • Waarom: Exporteer een lijnkaart-afbeelding van een bronafbeelding.

  • Hoe: Kies Verbeter met AI -> Extraheer -> Lijnen op een afbeelding, en genereer dan.

  • Details: Gebruikt comfyui/image-extract-lines.json met LineArtPreprocessor.

Afbeelding naar Video… (img2video-wan)

  • Waarom: Zet een stilstaande afbeelding om in een gegenereerde videoshot.

  • Hoe: Kies Verbeteren met AI op een afbeelding, geef promptinstructies en genereer.

  • Details: Gebruikt comfyui/img2video-wan.json met WAN 2.2 afbeelding-naar-video modellen.

Videostijl wijzigen… (video2video-basic)

  • Waarom: Pas een nieuwe visuele stijl toe op een bronvideo.

  • Hoe: Kies Verbeter met AI op een video, voer een stijlprompt in, kies een referentieafbeelding in het Referentie tabblad, en genereer dan.

  • Details: Gebruikt comfyui/video2video-basic.json met WAN VACE video-naar-video knooppunten, een vereiste referentieafbeelding, gemengde DepthAnythingV2Preprocessor diepte plus Canny randcontrole, en de wan2.1_vace_1.3B_fp16.safetensors, wan_2.1_vae.safetensors, en umt5_xxl_fp8_e4m3fn_scaled.safetensors modellen.

Diepte (video-extract-depth)

  • Waarom: Exporteer een grijswaarden dieptemap-versie van een bronvideo.

  • Hoe: Kies Verbeter met AI -> Extraheer -> Diepte op een video, en genereer dan.

  • Details: Gebruikt comfyui/video-extract-depth.json met DepthAnythingV2Preprocessor en behoudt de oorspronkelijke framesnelheid.

Lijnen (video-extract-lines)

  • Waarom: Exporteer een lijnkaart-versie van een bronvideo.

  • Hoe: Kies Verbeter met AI -> Extraheer -> Lijnen op een video, en genereer dan.

  • Details: Gebruikt comfyui/video-extract-lines.json met LineArtPreprocessor en behoudt de oorspronkelijke framesnelheid.

Resolutie verhogen (afbeelding) (upscale-realesrgan-x4)

  • Waarom: Verhoog de resolutie van afbeeldingen met lage resolutie.

  • Hoe: Kies Verbeteren met AI op een afbeelding, selecteer resolutie verhogen en genereer.

  • Details: gebruikt comfyui/upscale-realesrgan-x4.json met RealESRGAN_x4plus.safetensors.

Resolutie verhogen (video) (video-upscale-gan)

  • Waarom: Verhoog de resolutie van videoframes voor meer zichtbare details.

  • Hoe: Kies Verbeteren met AI op een video, selecteer resolutie verhogen en genereer.

  • Details: gebruikt comfyui/video-upscale-gan.json met RealESRGAN_x4plus.safetensors.

Vloeiende beweging (2x framesnelheid) (video-frame-interpolation-rife2x)

  • Waarom: Verhoog de framesnelheid voor vloeiendere waargenomen beweging.

  • Hoe: Kies Verbeteren met AI op een video, selecteer vloeiende beweging en genereer.

  • Details: gebruikt comfyui/video-frame-interpolation-rife2x.json met rife47.pth.

Splitsen in scènes (video-segment-scenes-transnet)

  • Waarom: Detecteer automatisch scènewisselingen en splits lange clips in segmenten.

  • Hoe: Kies Verbeteren met AI op een video, selecteer scènesplitsing en genereer.

  • Details: Gebruikt comfyui/video-segment-scenes-transnet.json met TransNetV2.

Ondertitels toevoegen vanuit spraak (video-whisper-srt)

  • Waarom: Spraak transcriberen naar ondertitel-/bijschriftbestanden.

  • Hoe: Kies Verbeter met AI op een video, selecteer ondertitels en genereer vervolgens.

  • Details: Gebruikt comfyui/video-whisper-srt.json en creëert SRT-uitvoer.

Volgwerkstromen (SAM2)

Deze werkstromen gebruiken dezelfde regio-/volginvoer en zijn gegroepeerd in het volgcontextmenu.

Vervagen… (afbeelding) (image-blur-anything-sam2)

  • Waarom: Vervaag geselecteerde onderwerpgebieden in een stilstaande afbeelding.

  • Hoe: Selecteer punten/rechthoeken voor het onderwerp en genereer vervolgens.

  • Details: maakt gebruik van comfyui/image-blur-anything-sam2.json met SAM2-beeldsegmentatie.

Markeren… (afbeelding) (image-highlight-anything-sam2)

  • Waarom: Benadruk geselecteerde onderwerpgebieden in een stilstaande afbeelding.

  • Hoe: Selecteer punten/rechthoeken voor het onderwerp en genereer vervolgens.

  • Details: gebruikt comfyui/image-highlight-anything-sam2.json met SAM2-beeldsegmentatie.

Masker… (afbeelding) (image-mask-anything-sam2)

  • Waarom: Genereer een afbeeldingsmasker voor geselecteerde onderwerpgebieden.

  • Hoe: Selecteer punten/rechthoeken voor het onderwerp en genereer vervolgens.

  • Details: gebruikt comfyui/image-mask-anything-sam2.json met SAM2-beeldsegmentatie.

Vervagen… (video) (video-blur-anything-sam2)

  • Waarom: Volg en vervaag een bewegend onderwerp in video.

  • Hoe: Markeer onderwerp/achtergrond in het regienscherm en genereer vervolgens.

  • Details: Gebruikt comfyui/video-blur-anything-sam2.json met SAM2-videotracking.

Markeren… (video) (video-highlight-anything-sam2)

  • Waarom: Volg en markeer een bewegend onderwerp in video.

  • Hoe: Markeer onderwerp/achtergrond in het regienscherm en genereer vervolgens.

  • Details: Gebruikt comfyui/video-highlight-anything-sam2.json met SAM2-videotracking.

Masker… (video) (video-mask-anything-sam2)

  • Waarom: Genereer een geanimeerd masker dat een bewegend onderwerp volgt.

  • Hoe: Markeer onderwerp/achtergrond in het regienscherm en genereer vervolgens.

  • Details: Gebruikt comfyui/video-mask-anything-sam2.json met SAM2-videotracking.

Startpunten voor nieuwe gebruikers

Als je nieuw bent met deze tools, begin dan met:

  1. Maak met AI -> Afbeelding

  2. Verbeter met AI -> Resolutie verhogen

  3. Verbeter met AI -> Beweging verzachten

  4. Verbeter met AI -> Opsplitsen in scènes

  5. Verbeter met AI -> Ondertitels toevoegen

Probleemoplossing

Als AI-menu’s niet verschijnen of taken direct mislukken:

  1. Controleer of ComfyUI draait en bereikbaar is op de geconfigureerde URL.

  2. Bevestig dat de vereiste modellen aanwezig zijn in je ComfyUI-omgeving.

  3. Bevestig dat aangepaste node-pakketten zijn geïnstalleerd voor de geselecteerde werkstroom.

  4. Verklein batch-/chunkgroottes voor lange clips.

  5. Test eerst opnieuw met een korte clip of stilstaande afbeelding.

Voor algemene prestatie- en cache-afstemming, zie Voorkeuren en Weergave.