Colaborar en un objeto físico cuando dos personas no están en la misma habitación puede ser extremadamente desafiante, pero un nuevo sistema de conferencia remota permite al usuario remoto manipular una vista de la escena en 3D, para ayudar en tareas complejas como la depuración de hardware complicado.
El sistema, llamado SharedNeRF, combina dos técnicas de representación de gráficos (una lenta y fotorrealista y otra instantánea pero menos precisa) para ayudar al usuario remoto a experimentar el espacio físico del colaborador.
“Esto sería un cambio de paradigma”, afirmó Mose Sakashita, estudiante de doctorado en el campo de las ciencias de la información que desarrolló el sistema. “Permitiría a las personas trabajar en tareas que nunca han sido posibles y que son muy difíciles de transmitir a través de sistemas basados en vídeo con un solo ángulo”.
Sakashita diseñó la herramienta de conferencia remota como pasante en Microsoft en 2023, trabajando con Andrew Wilson ’93, ex estudiante de informática en Cornell. Sakashita presentará el trabajo”,SharedNeRF: Aprovechamiento del renderizado fotorrealista y dependiente de la vista para la colaboración remota y en tiempo real”, 16 de mayo en la conferencia CHI de la Asociación de Maquinaria de Computación (ACM) sobre Factores Humanos en Sistemas de Computación (CHI’24). El artículo recibió una mención honorífica.
“Al realizar una tarea que involucra objetos físicos, como arreglar un grifo de cocina o ensamblar un circuito, los sistemas de videoconferencia actuales son bastante torpes”, dijo Wilson. “Últimamente, ha habido una explosión de innovación en gráficos por computadora y técnicas de renderizado. SharedNeRF se encuentra entre las primeras exploraciones en el uso de estas técnicas para abordar los problemas que surgen cuando se muestra algo más que cabezas parlantes”.
La investigación de posgrado de Sakashita en el laboratorio de François Guimbretièreprofesora de ciencias de la información en la Facultad de Computación y Ciencias de la Información de Cornell Ann S. Bowers y en el Departamento de Tecnología de Diseño de varias universidades, se centra en el desarrollo de nuevas tecnologías para respaldar la colaboración remota.
SharedNeRF adopta un enfoque novedoso para la colaboración remota mediante el empleo de un método de representación de gráficos llamado campo de radiación neuronal (NeRF). NeRF utiliza inteligencia artificial para construir una representación 3D de una escena utilizando imágenes 2D. Crea representaciones increíblemente realistas, completas con reflejos, objetos transparentes y texturas precisas, que se pueden ver desde cualquier dirección.
En el sistema SharedNeRF, el colaborador local lleva una cámara montada en la cabeza para grabar la escena. Las imágenes resultantes se alimentan de un modelo de aprendizaje profundo NeRF, que representa la escena en 3D para el colaborador remoto, quien puede rotar el punto de vista según lo desee.
Cuando la escena cambia, activa el modelo NeRF para actualizar la vista. Sin embargo, esta actualización lleva algo de tiempo (unos 15 segundos), por lo que el equipo de Sakashita fusionó las imágenes detalladas creadas por NeRF con la representación de nubes de puntos, una tecnología más rápida. La cámara montada en la cabeza y una segunda cámara RGB-D, que detecta el color y la profundidad, instaladas frente al usuario, capturan la escena como una colección de puntos en el espacio. El método puede transmitir rápidamente partes dinámicas de la escena, como manos en movimiento.
Al fusionar las dos técnicas de renderizado, un usuario remoto puede ver la escena desde varios ángulos en alta calidad a través de NeRF y al mismo tiempo ver movimientos en tiempo real en la escena a través de nubes de puntos.
SharedNeRF también muestra un avatar de la cabeza del colaborador local, para que el usuario remoto pueda ver hacia dónde está mirando.
Siete voluntarios probaron SharedNeRF realizando un proyecto colaborativo de arreglos florales con un socio. En comparación con una herramienta de videoconferencia estándar, o simplemente con la representación de nubes de puntos, cinco de los voluntarios prefirieron SharedNeRF. Todos estuvieron de acuerdo en que el sistema les ayudó a ver los detalles del diseño y les dio un mejor control sobre lo que estaban viendo.
“Descubrimos que la gente realmente apreciaba poder cambiar su punto de vista de forma independiente”, dijo Sakashita. Muchos también disfrutaron de poder acercar y alejar el arreglo floral y no tener que explicarle al colaborador local qué vista querían ver.
Actualmente, SharedNeRF está diseñado sólo para la colaboración uno a uno, pero los investigadores prevén que podría extenderse a múltiples usuarios. La tecnología también podría usarse para registrar y archivar eventos, como demostraciones educativas o cirugías, para que los estudiantes puedan volver a verlos desde diferentes ángulos.
Sakashita dijo que sería necesario trabajar en el futuro para mejorar la calidad de la imagen y ofrecer una experiencia más inmersiva a través de técnicas de realidad virtual o realidad aumentada.
Patricia Waldron es escritora de la Facultad de Computación y Ciencias de la Información de Cornell Ann S. Bowers.
2024-05-06 15:29:44
1715010330
#herramienta #videoconferencia #permite #usuario #remoto #controlar #vista
