Introducción resumida
Esta será una serie de artículos centrados en temas relacionados con el "Metaverso". Este artículo sirve como resumen de toda la serie y se actualizará continuamente más adelante.
¿Es el "Metaverso" una mentira?
Hay dos partículas básicas en el Metaverso: los tontos y los mentirosos.
Muchos tontos giran alrededor de los mentirosos a gran velocidad, formando la base de la materia en el Metaverso: los motones son
estimulados por "conceptos" de alta energía del mundo exterior, y los tontos saltan. a estados de alta energía y luego volver a estados de baja energía después de un corto período de tiempo
y al mismo tiempo enviar boletos al mundo exterior.
Como todos sabemos, "Metaverso" es el nombre del mundo de realidad virtual descrito en la novela "Snow Crash". La razón por la que se menciona mucho ahora es principalmente porque el 28 de octubre de 2021, Facebook cambió el nombre de la empresa a Meta. En la actualidad, el término "Metaverso" tiene más importancia comercial que técnica. Es más un término general para la descripción o visión de una empresa de su negocio futuro que lo que realmente existe hoy.
Esta serie de artículos analiza principalmente las tecnologías involucradas en el "Metaverso". En cuanto a la cuestión de si el "Metaverso" es una mentira, después de comprender estas tecnologías, es posible que tenga su propia comprensión.
Además, algunos tutoriales relacionados con el desarrollo también se publicarán simultáneamente en CSDN.
Introducción a este artículo
La PC es la entrada a Internet y los teléfonos móviles son la entrada a Internet móvil. Según este razonamiento inercial, el "Metaverso" también debería tener una entrada. La opinión generalizada actual es que dichos dispositivos deberían pertenecer a las gafas AR .
VR？AR？XR？MR？
La VR (Realidad Virtual) simula el entorno real en el espacio digital a través de ciertos dispositivos para crear una sensación de inmersión. La simulación en sí no necesariamente tiene que restaurar completamente el mundo real, pero debe basarse en la comprensión de las leyes del mundo real. Las simulaciones irrazonables no son convincentes y pueden incluso provocar rechazo. Dado que la tecnología de realidad virtual necesita construir un mundo de simulación completo, la tecnología involucrada puede ser extremadamente compleja. La comprensión actual de la realidad virtual en el mercado de consumo se centra principalmente en la visualización de realidad virtual. Si la simulación tiene mayores requisitos de realismo, puede ser más apropiado llamarla Gemelos Digitales.
AR (Realidad Aumentada) utiliza ciertos dispositivos para agregar información digital al entorno real para mejorar la comprensión de las personas sobre el entorno real. La RA no necesita simular las leyes del mundo real, pero puede asignar información digital al espacio real. Desde cierto punto de vista, la realidad aumentada es más fácil de implementar que la realidad virtual. Pero precisamente por esto, los productos en el mercado de AR son aún más variados. Esto se explicará en detalle más adelante.
En pocas palabras, el cuerpo principal de la realidad virtual es el espacio digital, mientras que el cuerpo principal de la realidad aumentada es el espacio real.
Según la definición general de AR, agregar la comprensión y simulación del entorno real suele denominarse MR (Realidad Mixta). Si se incluye todo lo anterior, generalmente se le llama XR (Realidad Extendida).
VR, AR, MR, XR
"Todo en Internet es virtual y no se puede controlar".
En la descripción anterior de VR/AR, evité deliberadamente la palabra virtual y utilicé descripciones como "digital" o "información". La razón es que actualmente algunas personas sólo piensan que lo "virtual" no tiene ningún valor. La virtualidad de los "números" o la "información" es relativa a los objetos físicos, pero no tiene sentido en términos de valor. En cuanto a las cuestiones de "valor" y "precio" de "números" o "información", se analizarán más adelante en el capítulo de aplicación. En resumen, es incorrecto afirmar que esto carece completamente de sentido sólo porque es "virtual".
ese año
Los cascos de realidad virtual para consumidores entraron en el horizonte del público en general probablemente después de que Facebook adquiriera Oculus en 2014. Tuve la suerte de conseguir un Oculus DK1 en 2014.
En 2015, HTC lanzó Vive, utilizando la tecnología Lighthouse de Vavle. Lighthouse utiliza láseres de escaneo desde estaciones base y sensores sensibles a la luz en los dispositivos. Mide la diferencia de tiempo entre el sensor fotosensible que recibe la señal y la convierte en el ángulo relativo al equipo de la estación base láser, y luego obtiene la información de postura del equipo mediante triangulación. (Para demostraciones de trabajo, consulte: https://www.youtube.com/watch?v=J54dotTt7k0) Vive de HTC ha sido sinónimo de equipos de realidad virtual durante mucho tiempo.
Cómo funciona el faro
En 2015, Google lanzó el teléfono Tango. Utiliza cámaras, cámaras de profundidad (ToF) e IMU para posicionar el dispositivo y realizar una reconstrucción tridimensional del entorno. Este fue el predecesor de ARCore. La tecnología correspondiente es SLAM (Simultaneous Localization and Mapping) que se ha utilizado en aplicaciones relacionadas con robots móviles. En ese momento, Google utilizaba un algoritmo de navegación visual inercial basado en MSCKF.
Proyecto Tango
En 2015, Microsoft lanzó Hololens. Está equipado con una HPU dedicada, que utiliza cámaras, cámaras de profundidad (ToF) e IMU para posicionar el dispositivo y realizar una reconstrucción tridimensional del entorno, y proporciona una pantalla óptica transparente (Optical See-through) basada en una guía de ondas ópticas. tecnología.
hololens
Sin embargo, durante el mismo período, en China Joy en 2015, después de experimentar el espejo mágico doméstico Baofeng, me decepcioné y decidí no profundizar en el campo de las pantallas montadas en la cabeza de realidad virtual domésticas en ese momento, sino que me concentré en tecnologías como detección tridimensional.
Posteriormente, una gran cantidad de productos de realidad virtual inferiores ingresaron al mercado, y el colapso colectivo del mercado de realidad virtual también es algo bien conocido.
Hoy en día, las empresas de detección 3D que han estado trabajando en él desde su fundación se han embarcado en el camino de cotizar en bolsa, pero a las empresas que se han desarrollado a cierta escala les resulta difícil invertir en nuevos campos. Después de muchos años, todavía no podía dejar de lado la dirección VR/AR, así que lo dejé el año pasado y volví a la dirección VR/AR.
Tecnología de posicionamiento
El posicionamiento es una de las primeras funciones que se realizan como casco de realidad virtual. Este es el posicionamiento y seguimiento de la postura del display montado en la cabeza (Pose). La actitud incluye posición y orientación. La posición generalmente está representada por un sistema de coordenadas rectangular compuesto por X, Y y Z. La dirección generalmente está representada por cuaterniones, pero generalmente se usan ángulos de Euler como Roll-Pitch-Yaw. Por tanto, los cascos de realidad virtual se dividen en dos tipos : 3DoF y 6DoF . 3DoF solo tiene información de dirección. 6DoF tiene información de pose completa.
La pantalla frontal VR de 3DoF utiliza una IMU (Unidad de medición inercial) para resolver las mediciones de aceleración lineal y aceleración angular del dispositivo (algoritmos como el filtrado complementario o el filtrado de Kalman). Aunque la IMU puede calcular posiciones relativas, su confiabilidad es muy pobre debido a su propio ruido, compensación y otros problemas. Y calcular simplemente la posición relativa es completamente insuficiente para muchas aplicaciones.
Los diferentes métodos de posicionamiento de los cascos VR 6DoF se dividen en dos tipos : de afuera hacia adentro y de adentro hacia afuera .
Outside-in utiliza estaciones base externas para localizar dispositivos. Los métodos principales son Lighthouse y Constellation .
Lighthouse lo ha dicho antes y no lo explicará aquí.
Constellation es la solución de Oculus. Cuando se conoce la posición relativa del punto marcador LED infrarrojo fijo, la cámara de la estación base captura el punto marcador LED infrarrojo en el dispositivo para calcular la pose del dispositivo. Su esencia es el problema PnP (Perspectiva-n-Punto) en visión por computadora . La mayoría de los controladores actuales con halos todavía utilizan este método. Sin embargo, como puede ver, ha habido mejoras considerables en los métodos de cálculo, sincronización de datos y métodos de comunicación. (Consulte: https://developer.oculus.com/blog/tracking-technology-explained-led-matching/)
Controlador Oculus DK1 HMD Qusest
Además, existen soluciones de posicionamiento que utilizan ondas ultrasónicas o campos magnéticos del exterior hacia el interior, pero debido a sus malas propiedades antiinterferentes, pocos productos los utilizan.
De adentro hacia afuera se puede considerar como colocar una estación base en el dispositivo y medir señales externas a través de la estación base para su posicionamiento.
Inside-out utiliza principalmente soluciones visuales. En el desarrollo inicial, había quienes colocaban QRCode externamente y algunos colocaban marcadores infrarrojos (Marcadores). El Inside-out actual realiza principalmente posicionamiento y seguimiento extrayendo características visuales (Características) de las imágenes. Independientemente del método que se utilice, se obtiene la información de posición de un punto de referencia específico (Landmark) y la pose (Pose) de los auriculares se obtiene mediante el seguimiento de los cambios en la información de posición.
Sala de pruebas de prototipos iniciales de Stream VR
Sin embargo, cuando las características visuales de la imagen también se mueven, el sistema de posicionamiento de adentro hacia afuera que solo se basa en características visuales vibrará o incluso se perderá. Además, la adquisición de imágenes visuales también tiene un intervalo de tiempo elevado (tiempo de exposición y velocidad de fotogramas), lo que afectará en cierta medida a la experiencia. Por lo tanto, el sistema de posicionamiento de realidad virtual convencional actual no utiliza una solución de posicionamiento visual puro (v-slam), sino un sistema de navegación visual inercial (vi-slam).
Los sistemas de navegación inercial visual se encuentran habitualmente en robots móviles y vehículos aéreos no tripulados, y muchos robots de barrido actuales también están equipados con esta tecnología. (La solución de Oculus nació en ETH Zurich. Las personas que estudian robótica deberían estar familiarizadas con esta escuela.) Hasta 2018, Microsoft proporcionó su tecnología de posicionamiento en Hololens a varios fabricantes de auriculares WMR bajo licencia. Sin embargo, esta autorización en realidad no contiene el algoritmo, sino sólo los requisitos técnicos relevantes del dispositivo. Por ejemplo, el hardware de posicionamiento real de Samsung Odyssey es un dispositivo de navegación inercial binocular USB típico (ov7251+lattice fpga+CYUSB3064) sin ninguna capacidad informática compleja. Esto también da como resultado que una gran cantidad de productos WMR tengan una mala experiencia. Posteriormente, en septiembre de 2018, Oculus lanzó Quest, que fue el primero en integrar un sistema de navegación visual inercial en un visor de realidad virtual a un precio de 1.000 yuanes. (Referencia para el sistema de posicionamiento Insight de Oculus: https://tech.fb.com/ar-vr/2019/08/the-story-behind-oculus-insight-technology/)
La aplicación actual del sistema de posicionamiento de navegación inercial visual hace que los cascos de realidad virtual ya no necesiten configurar especialmente el espacio de uso, lo que simplifica enormemente el proceso de uso de la realidad virtual. La cooperación de Qualcomm con Oculus ha hecho que este tipo de solución se convierta ahora en la realidad virtual todo en uno convencional.
¿Esto también se llama VR/AR?
Algunos dispositivos que ni siquiera pueden obtener la postura de manera efectiva, sino que solo colocan una unidad de visualización en la cabeza para proporcionar información visual, también se llaman a sí mismos VR/AR. Estos dispositivos, las pantallas montadas en la cabeza (HMD), existen desde hace mucho tiempo y el contenido de su pantalla también se denomina Head-Locked porque se fija en un área específica de la cabeza. Éste es el caso de las Google Glasses en 2012, por ejemplo. En muchos materiales, estos productos se clasifican en la categoría de gafas inteligentes para distinguirlos de los productos VR/AR. Este tipo de VR/AR es muy diferente de la percepción del público, pero muchas empresas nacionales venden productos como VR/AR.
mostrar, mostrar o mostrar
No se puede dejar de enfatizar la visualización, porque la experiencia intuitiva de los consumidores con los productos VR/AR es el efecto de la visualización. Por esta razón, un gran número de fabricantes también destacan lo excelentes que son sus parámetros de visualización en la promoción de sus productos. Sin embargo, NED (Near-Eye Display) es muy diferente de las pantallas tradicionales.
Debido a que la distancia entre los ojos y la pantalla se ha reducido mucho, el efecto de visualización en sí ya no se puede evaluar utilizando la resolución de la pantalla. Debido a la existencia de lentes VR, generalmente es necesario cambiar PPI (píxeles por pulgada) a PPD (píxeles por grado). Para mejorar la velocidad de fotogramas y la velocidad de respuesta, muchos dispositivos admiten la tecnología Foveated Rendering, porque la resolución de visualización de la pantalla ya no será la misma. Esto se debe a que al final es necesario formar la distancia de visión estereoscópica binocular. La distancia de visión y la refracción de cada persona son diferentes, y la experiencia sensorial de la imagen también será muy diferente.
Debido a la importancia de la visualización, los efectos de visualización de productos del mismo rango de precios de los principales fabricantes de realidad virtual generalmente no son muy diferentes. Sin embargo, con el mayor desarrollo de la tecnología de visualización de realidad virtual y el soporte de enfoque corto, zoom, movimiento ocular y otras tecnologías, la visualización de realidad virtual marcará el comienzo de una nueva diferenciación de productos.
Debido a que todavía existen grandes problemas con la tecnología de visualización óptica transparente, existen muchos productos AR actuales y, en general, tienen problemas de visualización, lo que dificulta tener un punto de referencia para juzgar. Hoy en día, muchos fabricantes nacionales de gafas AR han adoptado la solución técnica de Birdbath, que también es una solución de compromiso para lanzar productos lo antes posible, pero todavía está muy lejos de la tecnología de visualización AR ideal. (Para algunas tecnologías de visualización AR y comparaciones, consulte https://kguttag.com/)
El confuso mercado de la RA
Para VR, Video See-through se puede utilizar para evitar los problemas de visualización AR, pero al mismo tiempo, esto enfrentará una serie de problemas en la estimación de profundidad, corrección de imagen, retraso, etc.
Acceso a Oculus Quest
"Me hiciste usar TNT"
Al igual que el teclado y el mouse son para PC y las pantallas táctiles son para teléfonos móviles, la VR/AR también debe tener un método de interacción adecuado. Las interacciones proporcionadas por los productos VR/AR actuales incluyen: controladores de mango, seguimiento de gestos, control de línea de visión y mirada, reconocimiento de voz, etc. Si sólo considera el escenario de uso de los juegos, el controlador de joystick sigue siendo un método más adecuado. Pero si se considera la facilidad de uso, se debe proporcionar la capacidad de rastrear gestos. Para los productos AR, muchos reemplazarán directamente el controlador del mango con un teléfono móvil y utilizarán las funciones del teléfono móvil para proporcionar capacidades interactivas.
En términos de controladores de mango, Valve Index agrega una matriz de condensadores al mango y utiliza un método de aprendizaje profundo cercano al reconocimiento de imágenes para darle al mango la capacidad de reconocer gestos (el hardware es Cirque), brindando una mejor experiencia. Sony espera que También utilizará técnicas similares (https://dl.acm.org/doi/abs/10.1145/3313831.3376712). Facebook planea proporcionar controladores de pulsera basados en EMG (https://tech.fb.com/ar-vr/2021/03/inside-facebook-reality-labs-wrist-based-interaction-for-the-next -computing- plataforma/). Además, hay muchos fabricantes externos que se centran en ofrecer productos de retroalimentación de fuerza.
Matriz de detección capacitiva para Steam Index
En términos de seguimiento manual, Hololens tiene una experiencia de seguimiento manual mucho mejor debido a su sensor de profundidad y su bendición HPU. Oculus también ha implementado el seguimiento de gestos a través de la visión tradicional. La versión Hand 2.0 que se actualizará en un futuro próximo tendrá mayores mejoras, pero aún existen algunas lagunas en comparación con el reconocimiento de gestos mediante el sensor de profundidad. Además, Ultraleap, que adquirió Leap Motion, también está cooperando con algunas empresas para heredar funciones de gestos, pero los resultados de esta cooperación pueden no ser los ideales.
La interacción entre la vista y la mirada y el reconocimiento de voz sigue siendo un poco TNT a partir de ahora.
en camino
En términos de equipamiento, la realidad virtual se encuentra actualmente en su etapa inicial normal. Se puede decir que ha superado el umbral 1.0. Como categoría de producto electrónico, ya puede proporcionar las funciones necesarias. A medida que el mercado continúe expandiéndose, más personas estarán expuesto a él y uso. En cuanto a la realidad aumentada, querer desarrollar el mercado de la realidad aumentada antes de que la realidad virtual sea perfecta es como querer desarrollar teléfonos móviles antes que la tecnología de PC. Esto no significa que no se pueda hacer AR, sino que la escala y la aceptación del mercado requieren un proceso. El mercado actual de AR es un mercado relativamente pequeño e inmaduro. Además, los dispositivos de modo dual VR/AR basados en vídeo transparente se están desarrollando gradualmente y es probable que reemplacen a los dispositivos AR generales basados en transparencia óptica.
Quizás todavía tengamos que esperar a que la manzana golpee el suelo antes de que podamos ver el camino con claridad.