En la última lección, lo llevamos a descifrar la realidad aumentada de AR . Después de comprender el pasado y el presente de esta tecnología y sus escenarios de aplicación, puede ver que AR está comenzando a aprovechar el viento y las olas en el mercado ahora, y parece que tiene la próxima tendencia. La aparición de productos de RA ha desencadenado una ola de innovación en el círculo de la ciencia y la tecnología, permitiendo que el mundo virtual y el mundo real se fusionen entre sí, completando el "salto" de la pantalla, y el diseño de la interacción humano-computadora ha comenzado a moverse de un plano bidimensional a un mundo tridimensional. Entonces, la realidad aumentada suena tan sofisticada, como la tecnología del futuro, ¿cómo entenderla y producirla? Este artículo te da la respuesta.
Lectura ampliada: [ Serie de cursos de introducción al desarrollo de ARCore] Descifrar la realidad aumentada de AR
Explica las cosas profundas de una manera sencilla,
Comprender la situación actual y las ideas centrales de la tecnología AR
Los creadores de contenido de AR deben tener en cuenta los siguientes seis conceptos básicos: la realización de estos conceptos es la clave para la “combinación de lo virtual y lo real” en AR.
放置 (Colocación y posicionamiento de activos)
Primero, necesitamos introducir el concepto de "ubicación": un objeto AR estacionario debe fijarse a un cierto punto en el entorno real, como una pared, piso, techo o una cierta posición en el aire, para que el experimentador pueda sentir la "combinación de realidad y realidad". En cualquier caso, la colocación significa que el objeto virtual debe estar "fijo" de manera estable en la posición correspondiente en el entorno real. Incluso si el experimentador mismo mueve la posición, el objeto virtual puede permanecer en la posición original. Veamos los siguientes ejemplos específicos:
La taza de café de la imagen es un objeto virtual de RA. Cuando el usuario cambia de perspectiva, la taza de café virtual sobre la mesa se coloca como antes. Esta experiencia de RA evita que el usuario salte y mantiene el realismo de la experiencia de RA.
Escala y tamaño de los activos
Además de permanecer en el entorno real donde se encuentra el objeto AR, también necesita poder reflejar los cambios de tamaño a medida que cambia la distancia de observación. Debes estar familiarizado con estas escenas: un automóvil viene hacia ti desde la distancia. Es muy pequeño al principio. A medida que se acerca, el automóvil se hace cada vez más grande; cuando estás admirando una pintura, el ángulo del soporte, la distancia Alto y bajo, la vista también es diferente. En una experiencia de RA cuidadosamente diseñada, el objeto virtual también necesita cambiar su tamaño e imagen de acuerdo con la distancia real, el ángulo de visión y la dirección del observador, dando a las personas el impacto visual deseado, que es el zoom. Puede hacer que el objeto virtual AR se separe de lo virtual y se convierta en una "operación divina" que realmente puede reemplazar a la realidad.
Oclusión
La oclusión, como su nombre indica, se refiere a la situación en la que un objeto es bloqueado por otro objeto. En el campo de RA, si los objetos virtuales quieren parecer vivos, deben poder esconderse detrás de otros objetos virtuales y objetos reales en función de sus posiciones relativas, reflejando la relación de oclusión en el mundo real. Esto significa que el hardware AR no solo debe comprender la ubicación del objeto en la habitación, sino también determinar la distancia relativa entre el objeto virtual y otras entidades, y la distancia relativa entre el objeto virtual y el usuario, que es el mapa de profundidad de toda la escena.
La sensación de que el objeto AR existe realmente en el entorno real de la aplicación se denomina "inmersión". Para obtener esta experiencia interactiva inmersiva, es necesario recalibrar constantemente para lograr una oclusión perfecta. Debido a que los usuarios siempre están en movimiento, este es uno de los mayores desafíos para crear contenido AR exitoso.
Encendiendo
Al igual que los objetos reales, los objetos virtuales de RA necesitan asignar los cambios de luz y oscuridad del objeto a diferentes condiciones de iluminación para que nos sintamos realistas. El color, la luz y la sombra y la sombra de estos objetos deben ajustarse en consecuencia cuando cambia la iluminación inicial de la escena y la iluminación. Por ejemplo, en la experiencia de RA, si atenúa las luces de la casa, el color y el brillo del objeto virtual también deberían cambiar; si el objeto se mueve, su dirección de recepción de luz y su sombra también deberían moverse.
Sólido
Los objetos de RA deben tener un aspecto físico. Aunque esto suena obvio, los desarrolladores aún deben implementarlo deliberadamente. Al crear contenido AR, los objetos virtuales no deben superponerse con objetos reales ni ocupar el mismo espacio, ni deben estar suspendidos en el aire, de lo contrario afectará la experiencia interactiva inmersiva del usuario.
Conocimiento del contexto
El último elemento para crear un sentido de realidad es la percepción ambiental. Esta es la característica más difícil de lograr. Requiere dispositivos de hardware AR para comprender todo en el entorno y percibir su altura, tamaño, etc. Cuando los objetos principales se mueven en el espacio, cómo cambiará su situación, como la ubicación de las mesas y sillas en el entorno real, qué elementos hay sobre la mesa. Hay muchos factores que deben seguirse cuando el dispositivo percibe el entorno circundante. Los dispositivos de RA necesitan generar información perceptiva rápidamente y, al mismo tiempo, garantizar que el realismo, la fluidez y la funcionalidad de los objetos virtuales no disminuyan. Este es uno de los mayores desafíos que enfrentan los creadores de contenido de RA en la actualidad.
Características importantes que ARCore debe conocer
Con el fin de realizar los seis conceptos de AR anteriores y ayudar a los desarrolladores a crear mejores trabajos de AR, enfrentando varios desafíos, las empresas están invirtiendo en el desarrollo de herramientas de software. Como plataforma para crear aplicaciones de realidad aumentada lanzadas por Google, ARCore puede aprovechar los avances en software y dispositivos de hardware en la nube para colocar objetos virtuales en el mundo real, ayudando a los desarrolladores a crear experiencias de realidad aumentada con métodos más simples y herramientas más poderosas. A continuación, comprendamos cómo ARCore ayuda a los desarrolladores a lograr esta visión.
Seguimiento de movimiento-Seguimiento de movimiento
La RA se basa en la visión por computadora para percibir el entorno y reconocer los objetos en él. El primer paso en el proceso de visión por computadora es transmitir información visual, es decir, el entorno alrededor del hardware al "cerebro" dentro del dispositivo. El proceso de escanear, identificar, subdividir y analizar información ambiental en tecnología inmersiva se llama seguimiento. En el campo AR, hay dos formas de seguimiento: Seguimiento de afuera hacia adentro y Seguimiento de adentro hacia afuera.
Seguimiento de afuera hacia adentro
Cuando se usa el seguimiento de afuera hacia adentro, la cámara o el sensor no se ubican dentro del dispositivo AR, sino que se instalan en otras ubicaciones del espacio. Por ejemplo, en la pared o en el soporte para asegurarse de que la vista del dispositivo AR no esté bloqueada. Al mismo tiempo, estos "dispositivos enchufables" transmitirán información al dispositivo AR directamente oa través de una computadora. En teoría, el tamaño de la cámara o sensor externo se puede seleccionar de acuerdo con el tamaño del espacio de ubicación, pero encontrará problemas de consumo de energía. A medida que se mejore la funcionalidad, la portabilidad disminuirá. Si se interrumpe el enlace entre el auricular y el sensor externo, incluso por un tiempo breve, puede perder la señal de seguimiento y destruir la inmersión del efecto visual.
(Seguimiento de afuera hacia adentro)
(Seguimiento de adentro hacia afuera)
Seguimiento de adentro hacia afuera
Cuando se utiliza el seguimiento de adentro hacia afuera, la cámara y el sensor están integrados en el cuerpo del dispositivo. En nuestra vida diaria, muchos dispositivos inalámbricos tienen cámaras y procesadores de información integrados para observar el medio ambiente, el ejemplo más típico es un teléfono inteligente. Microsoft HoloLens, un auricular AR, también utiliza un formulario de seguimiento AR desde adentro hacia afuera. Hay 5 cámaras en la caja de HoloLens para analizar el entorno, 1 cámara de medición de profundidad, 1 cámara HD, 1 sensor de luz y 4 micrófonos.
Sin embargo, todo este hardware requiere espacio, consumo de energía y generación de calor. Idealmente, los dispositivos AR independientes pueden ser portátiles y usarse en cualquier momento, al igual que los teléfonos inteligentes. Pero antes de eso, la RA basada en teléfonos inteligentes se ha convertido en la principal forma para que la mayoría de las personas en el mundo interactúen con el contenido de RA.
Ya sea que brinde una experiencia de AR en un teléfono inteligente o en un auricular independiente, todas las aplicaciones de AR están diseñadas para mostrar objetos virtuales realistas. Una de las funciones más importantes del sistema ARCore es el seguimiento de movimiento . La plataforma AR necesita saber cuándo se mueve un usuario. La tecnología general detrás de esto se llama "Posicionamiento y mapeo síncrono en tiempo real (SLAM)". Este es el proceso mediante el cual los robots y los teléfonos inteligentes realizan análisis técnicos, comprenden el mundo real y determinan su orientación. El proceso SLAM requiere una serie de hardware para recopilar datos, como cámaras, sensores de profundidad, sensores de luz, giroscopios y acelerómetros. ARCore también usa este hardware para comprender el entorno y usa esta información para establecer puntos de ancla apropiados y representar la experiencia de AR mediante la detección de planos y puntos característicos. Específicamente, el proceso de seguimiento de movimiento a través de ARCore es el proceso de "mapeo y rango paralelo" (COM para abreviar).
En pocas palabras, COM puede decirle al teléfono inteligente su posición en el espacio en relación con el entorno circundante y lograr este objetivo capturando las características visualmente diferentes en el entorno. A esta característica de diferencia visual la llamamos "punto de característica". El "punto característico" puede ser el borde de la silla, el interruptor de iluminación de la pared, la esquina de la alfombra o cualquier punto que pueda aparecer en el entorno y la posición es siempre la misma. Por tanto, cualquier efecto visual de alto contraste puede convertirse en un "punto característico". ARCore combina los puntos característicos percibidos con la información de movimiento (también llamada datos inerciales) proporcionada por el teléfono inteligente.
Hoy en día, muchos teléfonos inteligentes están equipados con un giroscopio para medir el ángulo del teléfono, un acelerómetro para medir la velocidad del teléfono, puntos de función y datos inerciales combinados para ayudar a ARCore a determinar la orientación y la posición del teléfono en el entorno. Cuando ARCore comprende el entorno, puede colocar mejor los objetos virtuales en el entorno real y brindar a los usuarios una mejor experiencia de inmersión interactiva.
Comprensión ambiental: encontrar puntos y planos característicos
—— Comprensión ambiental: puntos característicos y búsqueda de planos
La comprensión del entorno se refiere al proceso mediante el cual ARCore ve el entorno alrededor del dispositivo AR y procesa y utiliza la información relacionada. Este proceso comienza con "puntos característicos". ARCore utilizará la cámara del teléfono para capturar grupos de puntos característicos en la superficie para crear un plano. El concepto de "búsqueda de planos" se refiere a la capacidad de ARCore para detectar y generar superficies planas. ARCore puede percibir estos planos y puede colocar y ajustar correctamente objetos 3D en el espacio físico. Por ejemplo, coloque el objeto virtual en el suelo y la mesa reales; de lo contrario, el objeto virtual "volará a través de las nubes y la niebla" en realidad. Por lo tanto, incluso los objetos virtuales deben seguir las mismas reglas físicas que los objetos reales.
Estimación de luz-Estimación de luz
Creo que debe haber notado que cuando levanta el teléfono para contestar una llamada, la pantalla del teléfono se apaga automáticamente. Cuando el entorno circundante cambia, la pantalla del teléfono móvil ajustará los cambios de luz y oscuridad en consecuencia.La realización de las funciones anteriores se beneficia del sensor de luz equipado con el teléfono inteligente. La tecnología AR actual admite la estimación global de la luz, como percibir el brillo, el color y la temperatura del color de todo el entorno. ARCore escanea los píxeles de la imagen de la cámara para determinar el valor promedio de la luz incidente para proporcionar la mejor iluminación para el objeto AR.
La luz y la sombra son los factores clave para juzgar si las cosas son reales a simple vista. La razón por la que los objetos virtuales parecen reales es en gran parte porque reflejan realmente los efectos de la iluminación. En realidad, condiciones como la dirección de la fuente de luz, la temperatura del color y los reflejos cambiarán la apariencia de los objetos. Solo cuando hay entrelazados claros y oscuros y sombras, un objeto puede parecer real. ARCore puede utilizar la estimación de luz para ayudar a los usuarios a crear aplicaciones de RA realistas y experiencias de juego.
Ancla-ancla
Después de que ARCore complete el análisis del entorno circundante y coloque los puntos característicos, puede comenzar a establecer puntos de anclaje para el objeto AR . El punto de anclaje también se denomina punto de anclaje, que es la posición donde siempre se encuentra el objeto virtual, y es principalmente adecuado para objetos virtuales estáticos. Por ejemplo, si desea colocar una lámpara virtual sobre la mesa, debe colocar el punto de anclaje en la mesa. Como se muestra en la figura siguiente, este es un plano horizontal descubierto y reconocido por ARCore, ahora cuando se coloca la luz, se fijará en una posición. Cuando el dispositivo se mueva, reaccionará en consecuencia, pero si te das la vuelta, esta luz virtual permanecerá en el escritorio.
Para cosas como aviones virtuales que deben suspenderse en el entorno real, el método de anclaje anterior obviamente no funciona. Porque el establecimiento de puntos de anclaje requiere búsqueda de planos, seguimiento de movimiento y trabajo coordinado con un sistema de visión. Por lo tanto, para la plataforma AR, será difícil determinar con precisión el punto de anclaje. Sólo mediante una exploración continua la imagen del plano puede cobrar vida.
Creo que a través de este curso, tiene una cierta comprensión de la tecnología central de AR y las poderosas funciones de la plataforma ARCore. En la siguiente lección, clasificaremos los desafíos técnicos que AR enfrenta actualmente en detalle para usted y exploraremos la posibilidad de una mayor innovación en la tecnología AR.