IA anima personajes 3D con una sola imagen y sin distorsiones

Un equipo de investigación de la UNIST ha presentado una innovadora tecnología de inteligencia artificial capaz de animar personajes 3D a partir de una única imagen en 2D, preservando sus proporciones naturales y evitando distorsiones. Este avance, publicado en Proceedings of the SIGGRAPH Asia 2025 Conference Papers, podría simplificar significativamente la creación de contenido 3D para el metaverso, la industria de la animación y los videojuegos.

Liderados por el profesor Kyungdon Joo, del Graduate School of Artificial Intelligence de la UNIST, los investigadores han desarrollado DeformSplat, un marco de IA que ajusta la pose de personajes 3D generados mediante modelado gaussiano, manteniendo su forma y realismo desde diferentes ángulos.

La técnica de 3D Gaussian Splatting permite reconstruir objetos tridimensionales a partir de imágenes bidimensionales, logrando representaciones realistas a partir de fotografías. Sin embargo, animar estos modelos, como en dibujos animados o videojuegos, tradicionalmente requería múltiples imágenes o videos capturados desde diversos ángulos. Sin esta información, los modelos solían deformarse de manera poco natural, con extremidades doblándose de forma extraña o estirándose de manera irreal.

DeformSplat permite animar un personaje 3D utilizando solo una fotografía. En las pruebas realizadas, los personajes animados mantuvieron sus proporciones y forma desde diferentes perspectivas, sin distorsiones notables. Por ejemplo, al introducir una pose en la que el personaje levanta un brazo, la IA reproduce este movimiento con precisión, independientemente del ángulo de visión.

Este logro se basa en dos innovaciones clave: el «Gaussian-to-Pixel Matching», que vincula los puntos gaussianos 3D del modelo con los píxeles 2D de la foto, permitiendo transferir la información de la pose directamente al modelo 3D; y la «Rigid Part Segmentation», que identifica y agrupa automáticamente las regiones rígidas (como extremidades o torso), asegurando que estas partes se muevan de forma natural sin doblarse o estirarse de manera antinatural durante la animación.

En conjunto, estas técnicas posibilitan un movimiento realista y sin distorsiones de personajes 3D a partir de una única fotografía.

Según explicó el profesor Joo, «los métodos anteriores tenían dificultades para animar objetos 3D a partir de una sola imagen sin distorsiones. Nuestro enfoque considera las propiedades estructurales de los objetos, distinguiendo las regiones rígidas y generando movimientos realistas».

Añadió: «Este trabajo representa un paso significativo hacia la simplificación, aceleración y reducción de costos en la creación de contenido 3D, especialmente para industrias como los videojuegos y la animación».