Guia Passo a Passo do Fluxo de Trabalho do LTX Video em ComfyUI

1º Passo: DOWNLOAD MODELO LTX-VÍDEO

Onde Salvar: CONFYIU / MODELS / CHECKPOINT

2º Passo: DOWNLOAD FLUX TEXT ENCODERS

Onde Salvar: COMFYIU / MODELS / TEXT ENCODERS

ASSISTA O VÍDEO ABAIXO PARA INSTALAÇÃO COMFYUI NO COMPUTADOR

ASSISTA O VÍDEO ABAIXO PARA INSTALAÇÃO COMFYUI NO GOOGLE COLAB

APRENDA DOMINAR O COMFYUI NO CURSO SEJA SEU CHEFE

CLIQUE AQUI PARA MAIS INFORMAÇÕES DO CURSO SEJA SEU CHEFE

Introdução ao Modelo LTX Video

O LTX Video é um modelo revolucionário de geração de vídeo com arquitetura DiT que possui apenas 2 bilhões de parâmetros, oferecendo recursos impressionantes que estão transformando o cenário da criação de conteúdo visual com IA. Este modelo inovador se destaca por:

Geração em Tempo Real: Capaz de gerar vídeos mais rápido que a reprodução em tempo real
Saída de Alta Qualidade: Vídeos suaves com resolução de 768×512 e 24 FPS
Múltiplos Modos de Geração: Suporta conversão de texto para vídeo, imagem para vídeo e vídeo para vídeo

Neste artigo de blog, vamos explorar detalhadamente como configurar e utilizar o LTX Video através do ComfyUI, uma interface gráfica popular para modelos de IA generativa.

Requisitos de Configuração

Antes de começar a experimentar o LTX Video, é importante garantir que seu sistema atenda aos requisitos mínimos para um desempenho adequado.

Requisitos de Sistema

Para executar o LTX Video de forma eficiente, você precisará:

Python 3.10.5 ou superior
CUDA 12.2 ou superior
PyTorch >= 2.1.2

Estes requisitos são essenciais para garantir que você possa executar o modelo sem problemas técnicos ou gargalos de desempenho.

Ambiente ComfyUI

O ComfyUI é a interface que utilizaremos para trabalhar com o LTX Video, fornecendo uma experiência visual intuitiva através do seu sistema de nós. Veja como configurá-lo:

Atualize o ComfyUI Primeiro, certifique-se de que seu ComfyUI esteja atualizado para a versão mais recente. Se você não sabe como atualizar o ComfyUI, consulte o guia oficial de atualização.
Instale o Nó Personalizado ComfyUI-LTXVideo

Existem dois Métodos de Instalação:

MÉTODO 1: Via ComfyUI Manager (Recomendado)

Abra o ComfyUI Manager
Pesquise por “LTXVideo”
Clique em Instalar

MÉTODO 2: Instalação Manual

Navegue até o diretório do ComfyUI
Clone o repositório
Instale as dependências Se você não está familiarizado com a instalação de plugins, consulte o Guia de Instalação de Plugins do ComfyUI.

Download dos Modelos Necessários

Você precisará baixar os seguintes arquivos de modelo:

Nota:
O codificador de texto PixArt requer o download completo do conteúdo da pasta text_encoder
O arquivo do codificador de texto T5 é grande (aproximadamente 9,79 GB), é recomendado usar um gerenciador de downloads

Arquivos de Fluxo de Trabalho

O LTX Video oferece diferentes fluxos de trabalho para diferentes tipos de geração:

Fluxo de Trabalho de Texto para Vídeo
Fluxo de Trabalho de Imagem para Vídeo
Fluxo de Trabalho de Vídeo para Vídeo

Limitações de Uso do LTX Video

Resolução e Taxa de Quadros

Para obter os melhores resultados, respeite estas limitações:

A resolução deve ser um múltiplo de 32
A taxa de quadros deve ser um múltiplo de 8 + 1 (por exemplo, 65 quadros, 257 quadros, etc.)
A resolução recomendada não deve exceder 720×1280
A contagem de quadros recomendada não deve exceder 257 quadros

Diretrizes para Prompts

Para prompts eficazes com o LTX Video:

Devem estar em inglês
Quanto mais detalhado o prompt, melhor
É recomendado incluir descrições completas de cenas, ações e detalhes

Tutorial de Uso do Fluxo de Trabalho

Descrições Básicas dos Nós

Todos os fluxos de trabalho incluem os seguintes nós básicos:

1. Nó de Carregamento do Modelo

Carregador do Modelo Principal: Carrega o modelo principal LTX Video
Selecione o arquivo
Carregador do Codificador de Texto: Carrega o codificador de texto
Selecione o arquivo
Configurador de Parâmetros: Configura parâmetros do modelo
Define parâmetros básicos como resolução, contagem de quadros e FPS
Opcionalmente habilita entrada de condicionamento

2. Nó de Processamento de Prompt

Codificador de Prompt Positivo: Codificação de prompt positivo
Usa o codificador PixArt para processar prompts positivos
Codificador de Prompt Negativo: Codificação de prompt negativo
Usa o codificador PixArt para processar prompts negativos
Controlador de Força do Prompt: Controla a força da orientação do prompt
Faixa de valores recomendada: 2-7
Quanto maior o valor, mais próximo o conteúdo gerado estará da descrição do prompt

3. Nó de Controle de Amostragem

Seletor de Sampler: Seleciona o amostrador
É recomendado usar o amostrador Euler
Configurador de Passos: Define o número de passos de amostragem e o programador
Faixa de passos: 10-25
Tipo de programador: normal
Gerador de Ruído: Gera ruído aleatório
Um seed fixo pode ser definido para resultados reproduzíveis
Executor de Amostragem: Executa o processo de amostragem
Integra todos os parâmetros relacionados à amostragem para geração final

4. Nó de Saída

Decodificador de Quadros: Decodifica os quadros gerados
Usa o decodificador VAE integrado do LTX Video
Combinador de Vídeo: Combina o vídeo final
Define a taxa de quadros, formato e parâmetros de codificação do vídeo de saída
Suporta pré-visualização do vídeo gerado

Tutorial de Modos de Geração do LTX Video

Texto para Vídeo

Defina Parâmetros Básicos:

Resolução: 768×512
Contagem de Quadros: 65 (aproximadamente 2,5 segundos)
FPS: 25

Escreva Prompts:

Os prompts positivos devem ser o mais detalhados possível, descrevendo cenas, ações e detalhes
Recomenda-se incluir nos prompts negativos: “worst quality, inconsistent motion, blurry, jittery, distorted, watermarks”

Ajuste Parâmetros de Amostragem:

Passos: Recomendado 20 passos
CFG: Recomendado 4-7
Sampler: Euler
Scheduler: Normal

Imagem para Vídeo

Além das configurações básicas, você também precisa:

Preparar Imagens de Referência:

Use o nó apropriado para carregar imagens de referência
As imagens devem idealmente corresponder à proporção da resolução alvo

Ajustar Parâmetros de Conversão:

Reduza o valor CFG (recomendado 3-5) para manter a consistência com a imagem de referência
Os passos de amostragem podem ser reduzidos apropriadamente (15-20)

Vídeo para Vídeo

Carregar Vídeo Fonte:

Use o nó apropriado
Defina uma taxa de quadros apropriada
Escolha se deseja ajustar a resolução

Ajuste de Parâmetros:

Use um CFG mais baixo (2-4)
Reduza os passos de amostragem (10-15)
Ajuste outros parâmetros conforme necessário

Guia de Otimização do LTX Video

Otimização de Parâmetros

Otimização de Prompt:

Use descrições detalhadas e específicas
Inclua descrições de ações e transições de cena
Adicione vocabulário relacionado à cinematografia

Otimização de Desempenho:

Reduza a resolução apropriadamente para aumentar a velocidade
Diminua a contagem de quadros para testes
Use menos passos de amostragem

Otimização de Qualidade:

Para imagens tremidas: reduza o valor CFG
Para detalhes insuficientes: aumente os passos de amostragem
Para transições não naturais: otimize as descrições de prompt

Dicas Avançadas de Aplicação do LTX Video

Produção de Vídeos Longos

Gere vários segmentos separadamente
Mantenha a consistência estilística através dos prompts
Use ferramentas de edição de vídeo para costura pós-produção

Controle de Estilo

Inclua descrições específicas de estilo artístico nos prompts
Use imagens de referência para guiar o estilo
Ajuste a força do estilo através dos valores CFG

Controle de Ação

Descreva processos de ação em detalhes nos prompts
Use quadros-chave como referências
Ajuste as taxas de quadros apropriadamente para os efeitos desejados

Exemplos e Templates do LTX Video

Exemplos de Cenas

Transição de Cena Simples:

Prompt Positivo: “A serene lake at sunrise, gentle ripples on the water surface, morning mist slowly rising, birds flying across the golden sky”
Passos de Amostragem: 20
CFG: 4

Sequência de Ação Complexa:

Prompt Positivo: “A professional dancer performing a graceful contemporary dance sequence, flowing movements, dynamic spins and leaps, soft lighting, studio setting”
Passos de Amostragem: 25
CFG: 5

Lembre-se de salvar suas combinações de parâmetros preferidas para uso futuro. Através de experimentação contínua e ajustes, você gradualmente dominará o uso do LTX Video.

Links de Recursos do LTX Video

Recursos Oficiais do LTX Video

Downloads de Modelos do LTX Video

Modelo LTX Video – Hugging Face

Serviços Online do LTX Video

Conclusão

O LTX Video representa um avanço significativo no campo da geração de vídeo por IA, oferecendo um equilíbrio impressionante entre velocidade, qualidade e flexibilidade. Com os fluxos de trabalho do ComfyUI descritos neste guia, você pode começar a explorar o potencial criativo deste modelo revolucionário.

A combinação de parâmetros ajustáveis, diferentes modos de geração e a capacidade de processar prompts detalhados torna o LTX Video uma ferramenta poderosa para criadores de conteúdo, artistas digitais e entusiastas de IA. À medida que você experimenta com diferentes configurações e refina seus prompts, descobrirá um vasto universo de possibilidades criativas ao seu alcance.

Não hesite em compartilhar seus resultados e experiências com a comunidade, pois o compartilhamento de conhecimento é fundamental para o avanço coletivo neste campo em rápida evolução.

Este artigo foi adaptado do tutorial original disponível no ComfyUI Wiki.