Crear un video musical 100% con inteligencia artificial tiene dos problemas que aparecen siempre. El primero es la consistencia: que el personaje no cambie de cara entre escenas, que la ropa sea la misma, que el ambiente no salte de un estilo a otro sin razón. El segundo es el lipsync: que la boca se mueva en sincronía real con la letra, no de cualquier manera.
Pasé tiempo trabajando en un videoclip completo usando Suno para la canción, Midjourney para los personajes y Seedance 2.0 para las escenas. El resultado lo puedes ver en Instagram. Lo que vas a encontrar aquí es el proceso completo: cómo construí la consistencia desde el principio con un character sheet, cómo preparé el audio para el lipsync y el prompt exacto que hace que Seedance sincronice la letra correctamente.
El flujo de trabajo completo antes de generar una sola escena
Lo primero que hice fue crear la canción. En Suno coloqué la letra en el campo de lyrics, definí el estilo musical y fui generando versiones hasta elegir una. La canción dura 2 minutos y 8 segundos, así que antes de tocar ninguna herramienta de imagen o video ya sabía exactamente con qué estaba trabajando.
Con la canción lista, creé los personajes en Midjourney. En mi video hay dos: Arcadi, el cantante protagonista, y María, su pareja en la historia. Elegí los personajes antes de empezar porque quería imaginarlos mientras escuchaba la canción, no al revés.
Una decisión que cambió la calidad del resultado fue separar el video en dos tipos de escenas desde el principio:
Escenas sin lipsync — donde los personajes actúan, se mueven, interactúan. La música suena de fondo pero no hay sincronización labial. Son las escenas narrativas que cuentan la historia de la canción.
Escenas con lipsync — donde el cantante está mirando a cámara y canta la letra en sincronía con el audio. Requieren preparación específica del audio y un prompt distinto.
Tener esa separación clara antes de empezar a generar evita mucha confusión y pérdida de créditos.
Video musical con IA lipsync: cómo crear el character sheet para mantener la consistencia
El character sheet es la base de todo. Sin él, cada escena que generas parte de cero y el personaje va cambiando poco a poco hasta que al final parece otra persona.
Un character sheet es una ficha visual del personaje que incluye múltiples ángulos, desglose de vestuario, paleta de color y rasgos faciales en detalle. Lo generas con ChatGPT Image 2.0 usando el siguiente prompt base. Adapta todo lo que está entre corchetes a tu personaje:
Crea una ficha de personaje premium basada en la persona de la imagen de referencia. El personaje se llama [NOMBRE DEL PERSONAJE]. Debe parecer una hoja de diseño de personaje de estudio de animación de alto presupuesto, similar a una biblia visual de producción o dossier oficial de desarrollo. El personaje debe conservar total consistencia visual con la referencia: [DESCRIBE AL PERSONAJE EN DETALLE: edad, constitución, estatura, rasgos físicos, peinado, color de piel]. Su vestuario base debe mantenerse coherente: [DESCRIBE LA ROPA COMPLETA: prendas, colores, materiales, calzado, accesorios]. Estilo general: [DEFINE EL ESTILO VISUAL DEL PERSONAJE]. Estilo visual: realismo estilizado tipo animación 3D cinematográfica premium, con gran atractivo visual, formas suaves, expresividad alta, iluminación cuidada y acabado profesional. Composición general: diseño limpio sobre fondo neutro, con maquetación editorial sofisticada. Evitar cuadrícula demasiado rígida o genérica. Incluye estas secciones: — Título con el nombre del personaje y datos básicos: edad, altura, constitución, estilo visual. — Retrato principal con pose carismática y expresión [DEFINE LA EXPRESIÓN: segura / melancólica / enérgica]. — Turnaround completo: vista frontal, 3/4 frontal, lateral, espalda y 3/4 trasera. Misma ropa, mismo peinado, mismos accesorios en todos los ángulos. — Head study con 6 expresiones: frontal neutro, 3/4 natural, perfil, mirando abajo, mirando arriba y ángulo dinámico. — Perfil del personaje: rasgos principales, personalidad, línea emocional base. — Desglose de vestuario con acercamientos de prendas, calzado y accesorios. Props frecuentes coherentes con su mundo: [LISTA LOS PROPS: micrófono, libreta, auriculares, etc.]. — Retrato cinematográfico en un entorno relacionado con su personalidad: [DESCRIBE EL ENTORNO: estudio musical, calle, oficina, etc.]. — Paleta de color y muestras de materiales. Regla estricta: la identidad visual debe permanecer totalmente consistente en todas las vistas y paneles. Calidad extremadamente alta, muy detallada, nítida y cinematográfica.
Para videos donde el personaje cambia de ropa según la sección de la canción, genera un character sheet adicional por cada outfit. En mi caso creé vestuarios distintos para el verso, el estribillo y las escenas finales. Ese trabajo previo es lo que hace que la ropa sea consistente de principio a fin.
Cómo preparar el audio antes del lipsync
Este es el paso que más gente se salta y que más afecta al resultado. No puedes hacer un buen lipsync si no preparas el audio correctamente antes de abrir Seedance.
El proceso es el siguiente. Abre tu canción en cualquier editor de video: CapCut, DaVinci Resolve, Premiere, el que uses. Escucha la pista completa y marca exactamente de dónde a dónde va cada fragmento que quieres sincronizar. Por ejemplo: «esta parte empieza en el segundo 23 y termina en el segundo 34, son 11 segundos donde el cantante dice esta frase.»
Una vez tienes marcados esos rangos, los exportas como MP3, no como video. Solo el audio de esa sección exacta. Así tienes archivos de audio separados por fragmentos: primera parte, segunda parte, coro parte uno, coro parte dos, y así sucesivamente.
¿Por qué exportar por fragmentos? Porque Seedance necesita saber exactamente cuánto tiempo dura la escena y qué letra va en ese tiempo. Si le das toda la canción no puede trabajar con precisión. Si le das 11 segundos exactos con la letra de esos 11 segundos, el resultado es mucho más fiel.
Un dato importante sobre el tempo: el lipsync funciona mejor en secciones melódicas con ritmo normal. Si tu canción tiene partes muy rápidas con muchas sílabas por segundo, úsalas para escenas de actuación sin lipsync. Seedance no puede procesar movimientos labiales tan rápidos con precisión. Reserva el lipsync para los coros y versos más melódicos.
El prompt para hacer lipsync con Seedance 2.0
Antes del prompt, una regla que no tiene excepción: el personaje tiene que estar mirando a cámara. No importa si está en un estudio, en un coche o en un escenario. Si no mira directamente a cámara, Seedance no va a hacer el lipsync correctamente. El modelo necesita ver la cara de frente para sincronizar los labios.
Este es el prompt base para el lipsync. Adapta las partes entre corchetes a tu proyecto:
No music, natural sound only. A cinematic [ELIGE EL TIPO DE PLANO: close-up / medium shot] of [DESCRIBE AL PERSONAJE: género, estilo, apariencia] singing in [DESCRIBE EL ESCENARIO: estudio oscuro, escenario, calle iluminada], starting exactly from the frame in @[IMAGEN DE REFERENCIA]. [DESCRIBE LA POSE Y EL COMPORTAMIENTO: He/She stands at a [micrófono vintage / micrófono inalámbrico / sin prop], singing with expression and energy, [DESCRIBE LOS MOVIMIENTOS: gesturing with subtle rhythmic hand movements], his/her head and body moving naturally and rhythmically, fully alive and performing, looking directly into the camera with [DESCRIBE LA EXPRESIÓN: an intense and magnetic expression / a warm and emotional expression]. [00:00-00:[DURACIÓN EN SEGUNDOS]]: Sings the exact lyrics, "[COLOCA AQUÍ LA LETRA EXACTA QUE VA A CANTAR]" in perfect lipsync with the audio. [DESCRIBE LOS RASGOS FÍSICOS CLAVE DEL PERSONAJE: pelo, barba, rasgos destacados]. Background structure is static — walls, floor, ceiling do not move. Camera position does not change. Cinematic film. Lighting and cinematography are masterful and expertly accomplished.
Tres cosas que no pueden faltar en este prompt:
«No music, natural sound only» al inicio. Sin esto Seedance puede añadir música generada encima de tu audio y arruinar la sincronización.
La duración exacta entre corchetes. Si tu fragmento de audio dura 11 segundos, el prompt dice [00:00-00:11]. Seedance necesita saber cuánto tiempo tiene que generar, ni un segundo más ni uno menos.
La letra entre comillas exactamente como aparece en la canción. No parafrasees. No resumas. La letra exacta, con las mismas palabras y en el mismo orden.
Escenas sin lipsync: cómo narrar la historia
Las escenas de actuación son donde vive la historia del videoclip. El personaje actúa, se mueve, interactúa con el entorno o con otros personajes, y la música suena de fondo sin necesidad de sincronización labial.
En mi video usé el contraste visual para reforzar el mensaje emocional de la letra. Cuando Arcadi estaba con María, las escenas eran cálidas, con luz natural y colores vivos. Cuando estaba solo cantando en el estudio, las escenas eran frías, oscuras y más íntimas. Ese contraste no fue accidental: viene de leer la letra y decidir qué historia visual cuenta cada sección.
Para estas escenas el prompt es más libre porque no hay sincronización que cuidar. Puedes describir movimientos más amplios, cambios de cámara, interacción entre personajes. Lo que sí tiene que mantenerse es la referencia del character sheet en cada prompt para que la consistencia no se pierda.
Cómo resolver el problema del extend en Seedance
Hay un problema concreto que encontré y que vale la pena conocer antes de que te pase.
Cuando intenté usar la función de extend en Seedance para alargar una escena, el modelo no continuó desde donde terminó el clip anterior. En cambio, volvió al frame inicial como si empezara de cero. Eso arruina la continuidad del video.
La solución es simple: en lugar de usar el extend, toma una captura del último frame del clip que quieres continuar. Úsala como imagen de referencia en el siguiente prompt, indicándola como start frame. Seedance arranca desde ahí y la continuidad se mantiene.
Es un paso extra, pero funciona consistentemente. Y es mejor que perder créditos en extends que no dan el resultado esperado.
Si prefieres ver el proceso en acción, el video del canal te muestra cada decisión en directo.
🎬 Puedes ver el tutorial completo aquí:>
¿Puedo hacer esto con mi propia cara?
Sí, el proceso es exactamente el mismo. Pero hay una diferencia importante que conviene entender antes de empezar.
Cuando trabajas con un personaje generado con IA, cualquier resultado te parece correcto porque no tienes una referencia real de cómo debería verse. Si el personaje mueve la cabeza de una manera ligeramente distinta a otra escena, no te molesta porque no conoces al personaje en la vida real.
Cuando usas tu propia cara, sabes exactamente cómo gesticulas, cómo mueves los ojos, qué expresiones haces. Y la IA raramente lo replica con la fidelidad suficiente para que no notes la diferencia. Eso genera una incomodidad que no ocurre con personajes inventados.
No significa que no funcione. Significa que las expectativas tienen que ser distintas. Si decides hacerlo con tu cara, trabaja con imágenes de muy buena calidad como referencia y acepta que habrá regeneraciones.
💡 Si quieres ver el resultado completo, el videoclip está en → Instagram del Arca Artificial. Y si tienes preguntas sobre cómo aplicar este flujo a tu proyecto, en la comunidad de Telegram estamos para eso.
Preguntas frecuentes
¿Cómo hacer lipsync en un video musical con IA usando Seedance 2.0?
El proceso tiene tres pasos clave. Exportas el fragmento exacto de la canción como MP3. En el prompt de Seedance indicas el tiempo exacto del clip, la letra entre comillas y añades «no music, natural sound only». Conectas la imagen del personaje como start frame. El personaje tiene que estar mirando directamente a cámara para que el lipsync funcione correctamente.
¿Cómo mantener la consistencia de personajes en un video musical con IA?
La base es el character sheet: una ficha visual generada con ChatGPT Image 2.0 que incluye múltiples ángulos del personaje y desglose de vestuario. Esa ficha se adjunta como referencia en cada prompt de Seedance. Para videos con cambios de ropa según la sección de la canción, se genera un character sheet por cada outfit distinto.
¿Funciona el lipsync con canciones rápidas?
Depende del tempo. El lipsync con Seedance 2.0 funciona bien en secciones melódicas con ritmo normal. Las partes muy rápidas con muchas sílabas por segundo dan resultados erráticos porque la IA no puede procesar tantos movimientos labiales en poco tiempo. Para esas secciones es mejor usar escenas de actuación sin lipsync.
¿Puedo hacer un video musical con IA usando mi propia cara?
Sí, el proceso es el mismo. La diferencia es que cuando usas tu propia cara, cualquier imprecisión del modelo se nota más porque tienes una referencia real de cómo deberías verte. Con personajes generados con IA esa referencia no existe, así que los resultados se perciben como correctos aunque no sean perfectos.
Conclusión
Un video musical con IA con lipsync real y consistencia de personajes no es magia. Es proceso. El character sheet antes de empezar, la preparación del audio por fragmentos, el prompt correcto con la letra exacta y la duración precisa. Cada uno de esos pasos importa y cada uno de ellos tiene su razón.
El lipsync quedó perfecto. La consistencia de vestuario se mantuvo en todas las escenas. Y el video completo lo hice 100% con IA sin comprometer la calidad visual ni la narrativa.
Si quieres ver el resultado completo, el videoclip está en Instagram de Arca Artificial. Y si tienes preguntas sobre cómo aplicar este flujo a tu proyecto, en la comunidad de Telegram estamos para eso.
