Aunque he publicado varias reseñas —y utilizo con frecuencia— muchas de las otras funciones de Descript, ésta es la primera vez que pruebo y reseño la traducción y el doblaje de audio y video de Descript. Descript no sólo traduce (con la posibilidad de que un hablante nativo corrija el texto, siempre y cuando estés en el plan Business o Enterprise; yo actualmente estoy en el plan Creator) y dobla, sino que también mantiene una sincronización labial sorprendentemente precisa con la persona que habla. Mi primera impresión fue imaginar que Descript estaba rotoscopiando el video para lograrlo. Sin embargo, mi investigación posterior indica que, en lugar de rotoscopiar, Descript afirma que utiliza IA generativa para lograr la sincronización labial. Así que, al traducir y doblar un video con Descript, no sólo se crea una nueva voz. Descript además regenera automáticamente la mitad inferior del rostro del hablante para que coincida con los sonidos, el ritmo único y los movimientos de la boca del nuevo idioma. Como traductor certificado, no estoy de acuerdo con realizar traducciones que no sean revisadas y corregidas por un hablante nativo humano. Sin embargo, mi objetivo con esta prueba es evaluar la calidad de la sincronización labial, sabiendo que, si surge un proyecto real que requiera una traducción perfecta, puedo ascenderme al plan Business durante ese mes. A continuación verás el video original (sin traducir ni doblar), seguido de los resultados en alemán, dos variantes de francés y griego.
Cómo funciona el proceso de sincronización labial de Descript
En lugar de trazar sobre los fotogramas (o cuadros), el modelo de video de la IA de Descript funciona de la siguiente manera:
- Codifica el video original y los fotogramas de referencia del rostro del hablante en un espacio latente aprendido.
- Generación de movimientos labiales: Utilizando el audio traducido, la IA regenera la parte inferior del rostro para que las palabras sigan el nuevo discurso, al tiempo que conserva la iluminación original, los dientes y la identidad del orador.
- Fusión fluida: La IA combina los movimientos labiales recién generados con las partes originales e intactas de tu video (como el fondo y la parte superior del rostro) para crear un aspecto auténtico y sin fisuras.
Video original en castellano (sin traducción ni doblaje)
Este video es uno que tomé prestado de mi reciente Reseña: Cámara Meet Flip 4K UHD/1080p/720p de OBSBOT para televisión y reuniones en línea (en castellano), que había publicado aquí en Escuchalibros.com.
Traducción de Descript del castellano al francés canadiense, con doblaje y sincronización labial
Traducción de Descript del castellano al francés europeo, con doblaje y sincronización labial
Traducción de Descript del castellano al griego, con doblaje y sincronización labial
Video original en inglés estadounidense (sin traducción ni doblaje)
El video anterior lo tomé prestado de mi reciente Reseña: Cámara OBSBOT Meet Flip 4K UHD/1080p/720p UVC para televisión y reuniones en línea (en inglés) que había publicado en ProVideo Coaition. El propósito de incluirlo aquí es comprobar si Descript traduce mejor a ciertos idiomas de destino a partir de un original en inglés, en comparación con uno en castellano.
Traducción de Descript del inglés estadounidense al francés canadiense, con doblaje y sincronización labial
Traducción de Descript del inglés estadounidense al francés europeo, con doblaje y sincronización labial
Traducción de Descript del inglés estadounidense al griego, con doblaje y sincronización labial
Conclusiones
Ya sea que queramos llamarlo «rotoscopia» o «IA generativa», la sincronización labial del producto final que obtenemos de estas traducciones/doblajes de Descript es increíble. Como traductor certificado, no estoy de acuerdo con realizar traducciones automáticas que no sean revisadas por un hablante nativo humano. Me molesta un poco que no nos permitan corregir la traducción automática antes de ejecutarla con el plan Creator. Espero que esa «opción» llegue pronto al plan Creator. No le pido a Descript que nos proporcione un traductor profesional. Solo pido la opción de contratar uno por nuestra cuenta para pulir la traducción automática. Mientras tanto, la solución es pasar al plan Business. Felicidades a Descript por el resultado de la sincronización labial.
Read this article in English
Descript a/v translation + dubbing with lip sync, beyond rotoscoping
Divulgación para la FTC
OBSBOT envió la cámara Meet Flip a Allan Tépper para facilitar esta reseña, pero no le pagó por esta reseña no tampoco pudo influir en lo publicado. Allan Tépper paga las tarifas oficiales a Descript. Hasta la fecha, Descript no el ha dado ningún descuento ni tampoc le ha regalado el servicio. Ninguna de las organizaciones mencionadas en este artículo ha pagado por figurar en él. Allan Tépper gana regalías sobre las ventas de sus propios libros. Algunas de las empresas mencionadas anteriormente han contratado a Tépper y/o TecnoTur.LLC para realizar consultorías y/o traducciones/localizaciones/transcreaciones. Algunos enlaces a terceros enumerados en este artículo y/o en este sitio web pueden beneficiar indirectamente a TecnoTur.LLC a través de programas de afiliados. Las opiniones de Allan Tépper son de él mismo. Allan Tépper no es responsable del mal uso o mala comprensión de la información que comparte.
Deja una respuesta