Este artículo ha sido revisado según Science X. proceso editorial
y políticas.
Editores han resaltado los siguientes atributos garantizando al mismo tiempo la credibilidad del contenido:
verificado
preimpresión
fuente confiable
corregir
¡De acuerdo!
por Bob Yirka, Tech Xplore
Dada una única imagen de retrato, un clip de audio de voz y, opcionalmente, un conjunto de otras señales de control, nuestro enfoque produce un vídeo de cara parlante realista y de alta calidad con una resolución de 512 × 512 y hasta 40 FPS. El método es genérico y sólido, y las caras parlantes generadas pueden imitar fielmente las expresiones faciales y los movimientos de la cabeza humanos, alcanzando un alto nivel de realismo y vivacidad. (Todas las imágenes de retratos fotorrealistas de este artículo son identidades virtuales e inexistentes). Crédito: arXiv (2024). DOI: 10.48550/arxiv.2404.10667
× cerrar
Dada una única imagen de retrato, un clip de audio de voz y, opcionalmente, un conjunto de otras señales de control, nuestro enfoque produce un vídeo de cara parlante realista y de alta calidad con una resolución de 512 × 512 y hasta 40 FPS. El método es genérico y sólido, y las caras parlantes generadas pueden imitar fielmente las expresiones faciales y los movimientos de la cabeza humanos, alcanzando un alto nivel de realismo y vivacidad. (Todas las imágenes de retratos fotorrealistas de este artículo son identidades virtuales e inexistentes). Crédito: arXiv (2024). DOI: 10.48550/arxiv.2404.10667
Un equipo de investigadores de inteligencia artificial de Microsoft Research Asia ha desarrollado una aplicación de inteligencia artificial que convierte una imagen fija de una persona y una pista de audio en una animación que retrata con precisión al individuo hablando o cantando la pista de audio con expresiones faciales apropiadas.
El equipo ha publicado un papel describiendo cómo crearon la aplicación en el servidor de preimpresión arXiv; muestras de vídeo están disponibles en la página del proyecto de investigación.
El equipo de investigación buscó animar imágenes fijas hablando y cantando utilizando cualquier pista de audio de respaldo proporcionada, y al mismo tiempo mostrando expresiones faciales creíbles. Claramente tuvieron éxito con el desarrollo de VASA-1, un sistema de inteligencia artificial que convierte imágenes estáticas, ya sean capturadas por una cámara, dibujadas o pintadas, en lo que describen como animaciones “exquisitamente sincronizadas”.
El grupo ha demostrado la eficacia de su sistema publicando breves vídeos de los resultados de sus pruebas. En uno, una versión de dibujos animados de la Mona Lisa interpreta una canción de rap; en otro, una fotografía de una mujer se ha transformado en un espectáculo de canto, y en otro, un dibujo de un hombre pronuncia un discurso.
En cada una de las animaciones, las expresiones faciales cambian junto con las palabras de una manera que enfatiza lo que se dice. Los investigadores señalan también que a pesar de la naturaleza realista de los videos, una inspección más cercana puede revelar fallas y evidencia de que han sido generados artificialmente.
Crédito: Microsoft
El equipo de investigación logró sus resultados entrenando su aplicación en miles de imágenes con una amplia variedad de expresiones faciales. También señalan que el sistema produce actualmente imágenes de 512 por 512 píxeles a 45 fotogramas por segundo. Además, tomó un promedio de dos minutos producir los videos utilizando una GPU Nvidia RTX 4090 de escritorio.
El equipo de investigación sugiere que VASA-1 podría usarse para generar avatares extremadamente realistas para juegos o simulaciones. Al mismo tiempo, reconocen el potencial de abuso y, por lo tanto, no ponen el sistema a disposición para uso general.
Más información:
Sicheng Xu et al, VASA-1: Caras parlantes realistas impulsadas por audio generadas en tiempo real, arXiv (2024). DOI: 10.48550/arxiv.2404.10667
Página del proyecto: www.microsoft.com/en-us/research/project/vasa-1/
Información de la revista:
arXiv
© 2024 Red Ciencia X
2024-04-19 13:11:22
1713535795
#aplicación #inteligencia #artificial #VASA1 #Microsoft #hace #las #fotografías #hablen #canten #con #expresiones #faciales #creíbles
