visionOS 26.4 incorporará el streaming foveado a Apple Vision Pro, permitiendo un renderizado remoto inalámbrico de realidad virtual de mayor calidad desde un PC local o en la nube.
Es importante destacar que el streaming foveado no es lo mismo que el rendering foveado, aunque ambas técnicas pueden utilizarse en conjunto. Mientras que el rendering foveado implica que el dispositivo anfitrión renderice la zona que estás mirando con mayor resolución, el streaming foveado se refiere a enviar esa misma zona al casco con mayor resolución.
Este término es conocido en el contexto de Steam Frame de Valve, donde es una característica fundamental y siempre activa de su oferta de streaming de PC VR, entregada a través del adaptador inalámbrico USB para PC.
Dado que los decodificadores de video en los cascos tienen una resolución y velocidad de bits máximas limitadas, el streaming foveado
Valve’s depiction of foveated streaming.
A diferencia del macOS Spatial Rendering introducido en la versión principal de visionOS 26 el año pasado, que es un sistema relativamente de alto nivel que solo admite un Mac local como anfitrión, la documentación para desarrolladores de Apple describe el nuevo Streaming Foveado como un marco de bajo nivel y agnóstico del anfitrión.
La documentación destaca Nvidia’s CloudXR SDK como un ejemplo de anfitrión, al tiempo que señala que también debería funcionar con PCs locales. Apple incluso tiene una muestra de Windows OpenXR disponible en GitHub, que, según nuestros conocimientos, es la primera y única vez que la compañía menciona la API XR estándar de la industria, y mucho menos la utiliza.
ALVR For Apple Vision Pro Brings PS VR2 Controllers To SteamVR
ALVR for Apple Vision Pro, the open-source wireless SteamVR tool, now supports the PS VR2 Sense controllers in its TestFlight build for visionOS 26.
Max Thomas, el desarrollador principal del puerto de visionOS de la aplicación de streaming de PC VR ALVR, le dice a UploadVR que actualmente está investigando la posibilidad de agregar soporte para el streaming foveado, pero que probablemente será “mucho trabajo”.
Debido a cómo funciona esta característica, el streaming foveado de Apple podría incluso permitir el rendering foveado para herramientas como ALVR.
Normalmente, visionOS no proporciona a los desarrolladores ninguna información sobre dónde está mirando el usuario, ya que Apple afirma que esto es para preservar la privacidad. En cambio, los desarrolladores solo reciben eventos, como el elemento que el usuario estaba mirando al realizar el gesto de pellizco. Pero, crucial para que el streaming foveado funcione, la API le indica al desarrollador la “zona aproximada” del fotograma que está mirando el usuario.
Esto debería permitir que el anfitrión también renderice con mayor resolución en esta zona, no solo transmita con mayor resolución. Como siempre, esto requerirá que el juego de realidad virtual específico admita el rendering foveado, o que admita herramientas que inyecten el rendering foveado.
Clip from Apple’s visionOS foveated streaming sample app.
Curiosamente, la documentación de Apple también establece que visionOS admite la visualización simultánea de contenido renderizado en el dispositivo y contenido remoto. La compañía da el ejemplo de renderizar el interior de un automóvil o avión en el casco mientras transmite el mundo externo altamente detallado en una potente PC en la nube, lo que sería preferible desde la perspectiva de la latencia y la estabilidad en comparación con renderizar todo en la nube.
Estaremos atentos a la comunidad de desarrolladores de visionOS en los próximos meses, especialmente en el ámbito empresarial, para conocer cualquier uso interesante del marco de streaming foveado de Apple en la práctica.
