La investigación y el desarrollo de auriculares AR/VR de Apple es casi un secreto a voces, especialmente a partir de una serie de patentes aplicadas por la empresa en los últimos años, podemos ver varias tecnologías relacionadas con AR/VR, que cubren UI, UX, hardware, óptica, transmisión de datos , sensores y muchos otros aspectos. Por ejemplo, no hace mucho tiempo, la USPTO publicó una patente relacionada con Avatar 3D de Apple, que describía una solución de escaneo de imágenes 3D de bajo costo que puede usar auriculares XR, teléfonos móviles, tabletas y cámaras de computadora para escanear la cabeza y las manos. ., torso y otras partes del cuerpo diferentes, las acciones de avatar virtual generadas son controladas por el usuario y pueden moverse en escenas 3D como AR/VR.
Esta patente es bastante interesante, prevé la interfaz y el proceso de emparejamiento de dispositivos móviles con auriculares AR/VR para generar avatares en 3D. Si Apple lanza auriculares AR/VR en el futuro, la solución descrita en esta patente es lo suficientemente práctica y parece que se puede realizar utilizando la tecnología existente. Por supuesto, sabemos que, por lo general, cuando las grandes empresas solicitan patentes, no necesariamente aplican las tecnologías de las patentes, sino que también pueden tener el propósito de evitar la competencia, enriquecer la acumulación de tecnología, etc. Sin embargo, no se descarta la posibilidad de aplicación práctica de algunos contenidos de patentes.Al analizar las patentes, podemos comprender un poco la exploración de Apple de tecnologías relacionadas, así como las posibles direcciones de desarrollo futuras, etc.
Acerca de la generación de avatares
Se entiende que el título de esta patente es "Interfaz para expresar Avatar en un entorno 3D", que describe principalmente cómo generar Avatar 3D y cómo usar Avatar para interactuar con escenas XR. La patente incluye muchos detalles relacionados con Avatar de cuerpo completo, como escanear la cara del usuario con la cámara del dispositivo móvil (similar a la función Face ID) y rastrear las manos, los pies, el torso, los brazos, los hombros y el cuerpo del usuario. etc., con el sistema multicámara de los auriculares XR. partes del cuerpo.
El proceso de uso específico es el siguiente:
1) Interfaz de escaneo facial: el usuario debe quitarse las gafas, mantener la cabeza quieta y luego girar la cámara del dispositivo móvil alrededor de la cabeza. Esta función no parece requerir un modelado de cabeza de 360°, por lo que el usuario puede escanear los lados y el frente de la cara a mano sin la ayuda de otros.
Curiosamente, el mecanismo de escaneo de cabezas descrito en la patente es algo similar a la entrada de huellas dactilares en un teléfono móvil, lo que requiere múltiples capturas de cabezas para completar el modelado de cabezas. Además, también debe escanear varias expresiones, como sonreír, abrir la boca, etc.
2) Una vez que se completa el escaneo facial, puede configurar los parámetros de Avatar, como la altura, el marco y otros accesorios.
3) Después de eso, debe ponerse los auriculares AR/VR para escanear sus manos.
Actualmente, Meta Reality Labs también está explorando una solución liviana de captura facial en 3D basada en dispositivos móviles A juzgar por el progreso de la investigación Codec Avatar expuesto anteriormente, Meta ya puede usar la lente frontal del iPhone 12 para la captura y reconstrucción facial en 3D de alta fidelidad. , y también puede sintetizar una nueva perspectiva y expresión 3D, el efecto es lo suficientemente bueno. La solución se basa en el módulo de cámara Face ID del iPhone 12. Face ID es una de las soluciones móviles de escaneo de rostros en 3D más avanzadas del mercado, que es suficiente para ayudar a los auriculares AR/VR en el seguimiento y la captura de rostros. Si usa el sensor LiDAR equipado con algunos iPhones para escanear la cara, el efecto será más preciso.
A juzgar por las predicciones anteriores, los auriculares AR/VR de Apple estarán equipados con múltiples conjuntos de sensores 3D para rastrear los cambios en los globos oculares y las expresiones faciales, y se usarán para controlar cabezas virtuales animadas como Animoji. Si se combina con el escaneo facial del iPhone, los usuarios de Apple AR/VR podrán generar naturalmente sus propias imágenes en 3D y usarlas en AR/VR El ecosistema de productos de Apple puede lograr fácilmente esa función.
En cuanto a la parte de reconocimiento de gestos, Quest ya puede rastrear nodos de mano a través de cámaras externas y algoritmos de visión por computadora.En el futuro, los auriculares Apple AR/VR también deberían tener un módulo de reconocimiento de gestos incorporado.
Acerca de la interacción
Después de completar el escaneo facial 3D, el usuario desempeñará el papel de Avatar, percibirá e interactuará con el entorno físico a través de la visión, el tacto, el oído, el gusto y el olfato en la escena XR. En el modo AR, el sistema puede generar objetos virtuales (como árboles, edificios) e integrarlos con el entorno físico, y el sistema puede generar luces y sombras que coincidan con la luz ambiental de los objetos virtuales. Incluso, los objetos del entorno físico se pueden replicar a través de sensores, y los objetos virtuales replicados pueden tener formas o colores similares.
Apple anunció una herramienta de escaneo 3D basada en fotogrametría en WWDC el año pasado, que puede escanear cualquier objeto en un modelo 3D, lo que equivale a usar tecnología digital para hacer una "copia" de alta fidelidad de un objeto real. El modelo 3D escaneado está en formato de archivo USDZ, que puede incrustarse directamente en una página web para obtener una vista previa, verse en forma de AR y compartirse con otros a través de iMessage. Aunque la herramienta aún no ha aterrizado en el extremo C, el video de demostración que se muestra antes se ve increíble y el modelo 3D se parece bastante a la realidad.
Además de usar el movimiento para interactuar con el entorno XR, los usuarios también pueden interactuar a través de la vista, el oído, el tacto, el gusto y el olfato, o emitir comandos de voz para ajustar las características de los objetos virtuales.
En algunos escenarios de XR, los usuarios solo pueden escuchar e interactuar con el audio. Por ejemplo, XR puede reconocer la rotación de la cabeza del usuario y ajustar los efectos visuales y de audio espacial en tiempo real para restaurar las características del sonido y la luz en el espacio real. La patente también establece que el audio en el XR puede admitir el "modo de transparencia", que combina selectivamente los sonidos ambientales con el audio generado por computadora. Sabemos que los auriculares Apple AirPods Pro/Max son compatibles con el "modo de transparencia”, que puede reducir activamente el ruido ambiental al escuchar canciones. Si se aplica a los dispositivos XR en el futuro, permitirá a los usuarios mantener la interacción con las personas que lo rodean y el medio ambiente.
Curiosamente, puede usar audio para representarse a sí mismo en XR, o elegir un avatar visual, probablemente como puede elegir llamadas de voz o video en WeChat.
Además, se puede ver en las patentes anteriores de Apple que está acostumbrado a definir la realidad mixta, la realidad virtual y la realidad extendida (XR) por separado en las patentes, donde XR se refiere a un entorno parcial o totalmente simulado que las personas pueden percibir a través de sistemas electrónicos. entorno e interactuar con él. En el entorno XR, el movimiento físico del usuario se rastrea en tiempo real y se representa en XR, y el entorno XR también responde a las acciones del usuario para simular la interacción física.
La experiencia XR puede provenir de una variedad de componentes de generación de imágenes, como auriculares, pantallas, proyectores, pantallas táctiles y más. También puede estar equipado con múltiples sensores, incluidos sensores de imagen, sensores de luz, sensores de profundidad, sensores táctiles, sensores de orientación, sensores de temperatura, sensores de posición, sensores de movimiento, sensores de velocidad, unidades de generación de mapas XR y más.
Acerca del hardware de los auriculares
Apple señaló en los antecedentes de la patente: En los últimos años, el desarrollo de los sistemas informáticos AR/VR ha aumentado significativamente, y existen varias formas de interactuar con el contenido AR/VR, como el reconocimiento de gestos de la cámara, manijas, joysticks, superficies táctiles, pantallas táctiles, etc. esperar. A través de estos métodos de interacción, los usuarios pueden controlar objetos como imágenes AR, videos AR, textos AR e íconos AR.
Apple cree que algunos de los métodos actuales de interacción AR/VR son engorrosos, ineficientes y tienen comentarios limitados. Por ejemplo, en comparación con la interacción de gestos, el mango no es lo suficientemente amigable para los principiantes y tiene cierto peso, lo que es fácil romper la sensación de inmersión. Además, si desea realizar un seguimiento de los movimientos de todo el cuerpo, es posible que necesite un traje sensorial de cuerpo completo o varios módulos de seguimiento, que son complicados y engorrosos de operar. Estos métodos de entrada requieren una gran cantidad de cálculos y consumen más energía, lo que no es compatible con las máquinas todo en uno AR/VR que necesitan energía de la batería.
Por lo tanto, se necesita un método de interacción humano-computadora más efectivo, intuitivo y fácil de entender.
En términos de hardware, la solución de patente Avatar de Apple requiere algún tipo de sistema informático de generación de imágenes y uno o más dispositivos de entrada con capacidades de generación informática, como realidad virtual, dispositivos de visualización de realidad mixta o computadoras de escritorio, dispositivos móviles (teléfonos móviles, computadoras portátiles , tabletas) computadoras, dispositivos de mano), dispositivos electrónicos portátiles (relojes inteligentes).
Sus dispositivos de hardware pueden estar equipados con paneles táctiles, grupos de cámaras, pantallas táctiles, módulos de seguimiento ocular y módulos de seguimiento de gestos. Además, puede equiparse con sensor de movimiento y accesorios de audio. Además, se puede usar una interfaz gráfica de usuario (GUI) para admitir el lápiz óptico, la entrada con la punta de los dedos, la entrada táctil y gestual, la entrada del globo ocular y la entrada de voz. Los usuarios también pueden interactuar con la GUI a través de gestos de cuerpo completo, que son capturados por sensores como cámaras.
Los usuarios pueden dibujar, editar imágenes, hacer demostraciones, procesar textos, crear íconos, jugar juegos, hacer llamadas telefónicas, realizar videoconferencias, enviar correos electrónicos, enviar mensajes, hacer ejercicio, tomar fotos, grabar videos, navegar por páginas web y escuchar audio en GUI a través de estos métodos interactivos: música, tomar notas, mirar videos y más. Referencias: PatentlyApple , USPTO