La realidad mixta en Meta's Quest ofrece un vistazo al futuro de la computación visual

El próximo gran avance en VR puede ser el mobiliario de su sala de estar: Meta lanzará un nuevo SDK para sus auriculares Quest VR la próxima semana que facilitará a los desarrolladores la incorporación de entornos del mundo real en aplicaciones y juegos de VR.

El lanzamiento marca un paso importante para llevar experiencias de realidad mixta a los auriculares VR de Meta, que tienen el potencial de hacer que la realidad virtual se sienta más real. También presagia un mundo en el que los auriculares dan sentido al mundo que nos rodea, difuminando las líneas entre AR y VR.

Al mismo tiempo, la adopción de Meta de la realidad mixta nos dice mucho sobre la visión de la empresa de la informática inmersiva, que incluye compromisos a largo plazo tanto con AR como con VR. “Una gran parte de nuestra apuesta ha sido que estas son las dos caras de la moneda”, dijo Mark Zuckerberg en una conversación exclusiva con Protocol sobre los esfuerzos de realidad mixta de la compañía.
Combinando el mundo real con la realidad virtual

El nuevo Quest SDK, que la compañía anunció oficialmente el jueves, brinda a los desarrolladores acceso a algo que llama Presence Platform, un conjunto de herramientas destinadas a hacer que la realidad virtual se sienta más natural. Eso incluye la interacción de voz y mano, así como una serie de características relacionadas con el paso de video.
Los auriculares Quest VR de la compañía ya incluyen formas para que los usuarios accedan a una vista en vivo en escala de grises de su entorno, capturada por las cámaras de seguimiento de los auriculares. Ahora, los desarrolladores pueden usar la misma transmisión de video y superponer objetos animados de realidad virtual sobre ella. Los auriculares también permitirán a las personas mapear su habitación y decirle a las aplicaciones de realidad virtual dónde están las paredes, mesas, sofás y otros objetos. Una vez que se mapea una habitación de esta manera, las aplicaciones de realidad virtual pueden incorporar estas superficies del mundo real en el juego y otras interacciones.

Las primeras demostraciones de este tipo de realidad mixta muestran un gran potencial: Resolution Games utiliza el paso para permitir que las personas abran un agujero virtual en el piso de su sala de estar, revelando un lago virtual en el que pueden pescar. La aplicación de dibujo VR Gravity Sketch lo hace posible colocar objetos de realidad virtual en el mundo real y, por ejemplo, ver cómo se vería un modelo de una silla en su sala de estar.

Meta también creó su propia aplicación de demostración, llamada The World Beyond, para demostrar parte del potencial de la realidad mixta en Quest. En él, los jugadores interactúan con un pequeño monstruo lindo al que le gusta jugar a buscar. Lanza una pelota virtual y rebota en tus paredes o muebles del mundo real. Explota esas mismas paredes con un rayo especial y se convertirán en portales a un colorido mundo animado. “Obtienes esa base en el mundo real, pero estás en una experiencia virtual”, dijo el gerente de producto de Reality Labs, Prabhu Parthasarathy.

La compañía lanzará The World Beyond al público la próxima semana y también pondrá el código fuente a disposición de los desarrolladores.

Del rastreo a la realidad mixta y más allá

El camino de Meta hacia la realidad mixta casi comenzó por accidente. Cuando la empresa cambió de una arquitectura de realidad virtual para PC que usaba rastreadores externos a un seguimiento de adentro hacia afuera en Quest, utilizó sensores de cámara para realizar un seguimiento de los controladores de realidad virtual y la posición del jugador en la sala. “Básicamente construimos los sensores solo para el seguimiento”, dijo Zuckerberg. "Entonces, un ingeniero tuvo la idea: 'Veamos si podemos activar esto cuando comience a moverse fuera de su límite'".

Cuando se envió el primer Quest en 2019, los sensores de la cámara comenzaban a tener algunas funciones dobles. Además del seguimiento, también se utilizaron para proporcionar una vista en escala de grises del mundo exterior que ayudó a los propietarios de Quest a trazar un mapa de su espacio de juego para mantenerlos alejados de paredes y mesas. Una vez en VR, los mismos bordes aparecían como un guardián, y al pasar más allá del guardián, el auricular cambiaba de VR a una vista de video de paso del mundo real. “Originalmente lo convertimos en una característica de seguridad”, dijo Zuckerberg.
Con el tiempo, Meta amplió esas características de seguridad y agregó la capacidad de mostrar videos de personas, mascotas y objetos que ingresan al espacio de juego. Luego, la empresa comenzó a experimentar con una combinación más directa de objetos virtuales y reales, lo que incluye el mapeo de espacios del mundo real, así como anclajes espaciales que agregan persistencia a la realidad mixta.

Una de las primeras experiencias de realidad virtual en incorporar algunas de estas tecnologías ha sido Horizon Workrooms, el software de colaboración de realidad virtual de la empresa. La aplicación Workrooms permite a las personas mapear su escritorio, incorporar una computadora portátil real en una reunión de realidad virtual basada en avatar y anclar una pizarra virtual en un entorno del mundo real. “Inicialmente comenzamos a trabajar en él casi como una demostración, reuniendo muchas tecnologías”, dijo Zuckerberg. Con el tiempo, se hizo evidente que Workrooms podía ser algo más que una demostración técnica y la empresa comenzó a hacer que estuviera más disponible.

La incorporación de video passthrough es solo un primer paso hacia un futuro de realidad mixta más inmersivo. Igual de importante será el reconocimiento de objetos; Meta no ha revelado ningún plan concreto para llevar el reconocimiento de objetos a futuros auriculares, pero podría representar un cambio masivo para la tecnología.

En este momento, un auricular Quest solo sabe que está sentado frente a un escritorio si mapea y luego etiqueta ese escritorio. En el futuro, los auriculares podrían reconocer tanto el escritorio como los objetos en el escritorio, para incorporar todo sin problemas en experiencias de realidad mixta.
Sin embargo, llegar allí no será fácil, advirtió Parthasarathy. “El reconocimiento de objetos es un problema de ingeniería muy complejo”, dijo. “No espero que nadie tenga... esto resuelto en el corto plazo, incluidos nosotros”. Sin embargo, el potencial alcista es enorme, estuvo de acuerdo. “La comprensión de objetos va a ser un cambio fundamental en la forma en que usamos los auriculares, ya sea VR o AR”, dijo Parthasarathy.

Apostar por la RV, aunque otros no lo hagan
En el lanzamiento, la versión de Meta de la realidad mixta se ve limitada por la falta de fidelidad de video de los sensores de seguimiento de Quest. Los desarrolladores pueden compensar algo de eso cambiando el enfoque a objetos VR de mayor fidelidad. “Cuando estás en medio de esas experiencias, el blanco y negro desaparece de ti”, dijo Parthasarathy. “Creemos que hay muchas oportunidades para construir una realidad mixta, incluso en Quest”.

Las cosas solo mejorarán con futuros auriculares con mejores sensores de imagen, incluido el dispositivo Project Cambria enfocado en el trabajo que Meta planea lanzar a finales de este año. Sin embargo, la incorporación de la realidad mixta ahora tiene mucho que ver con el futuro de la computación visual, que también incluye la realidad aumentada. Al permitir que los desarrolladores superpongan objetos virtuales sobre el mundo real, pueden tener una idea temprana del potencial del futuro hardware AR, lo que también podría hacer que los auriculares de Meta sean más atractivos para los puristas de AR.

“Hay una cohorte de personas que piensan que AR será algo importante, pero que aún no creen tanto en la realidad virtual”, dijo Zuckerberg. “Es muy emocionante lograr que todo ese grupo de personas se una al redil”. El escepticismo de la realidad virtual no es solo un fenómeno entre los desarrolladores; empresas como Magic Leap han decidido centrarse en AR sobre VR, incluso si eso significa producir dispositivos que son caros y no están listos para el consumidor. Zuckerberg argumentó que este enfoque ignora los hábitos de consumo existentes.

“En la industria de la tecnología, tenemos este sesgo en el que creemos que los teléfonos son realmente críticos y los televisores no”, dijo Zuckerberg. “Pero el estadounidense promedio pasa tanto o más tiempo en un televisor que en un teléfono”. En última instancia, los auriculares VR podrían convertirse en una especie de versión inmersiva del televisor, mientras que las gafas AR podrían convertirse en un futuro dispositivo móvil, razón por la cual Meta está invirtiendo en ambos, dijo.
“Poder enviar dispositivos de realidad virtual que obtengan cierta adopción generalizada y crear una comunidad de desarrolladores nos permite desarrollar la cadena de herramientas, una buena comunidad y monetización para los desarrolladores incluso antes de que aparezcan los dispositivos de realidad aumentada [similares a anteojos]”, dijo Zuckerberg.

Las herramientas de realidad mixta que permiten a los desarrolladores jugar en ambos mundos les permitirán prepararse para ese futuro. “Esa es [la] apuesta que estamos haciendo”, dijo. "Podría estar equivocado. Pero hasta ahora, los datos sugieren que la realidad virtual será bastante importante. Así que me siento bastante bien con el camino en el que estamos”.