Descripción general de ARCore :
ARCore de Google no es una aplicación que pueda descargar. Es un kit de desarrollo de software (SDK) para ayudar a los desarrolladores a crear aplicaciones de RA.
ARCore es la plataforma de Google para crear experiencias de realidad aumentada. Mediante el uso de diferentes API, ARCore permite que su teléfono perciba su entorno, comprenda el mundo e interactúe con la información. Ciertas API se pueden usar en Android e iOS para lograr una experiencia AR compartida.
ARCore utiliza tres funciones clave para integrar contenido virtual con el mundo real, como se ve a través de la cámara del teléfono:
- El seguimiento de movimiento permite que los teléfonos móviles comprendan y rastreen su posición en relación con el mundo.
- Al comprender el entorno, el teléfono puede detectar el tamaño y la posición de todo tipo de superficies: superficies horizontales, verticales e inclinadas, como el suelo, la mesa de café o la pared.
- La función de estimación de luz permite al teléfono móvil estimar las condiciones de iluminación actuales del entorno.
Dispositivos soportados
ARCore está diseñado para usarse en una variedad de teléfonos Android calificados que ejecutan Android 7.0 (Nougat) y superior.
¿Cómo funciona ARCore?
Básicamente, ARCore está haciendo dos cosas: rastrear la ubicación de los dispositivos móviles durante el movimiento y desarrollar su propia comprensión del mundo real.
La tecnología de seguimiento de movimiento de ARCore utiliza la cámara del teléfono para identificar puntos interesantes (llamados características) y rastrear cómo se mueven estos puntos a lo largo del tiempo. Combinando el movimiento de estos puntos y las lecturas de los sensores de inercia del teléfono móvil, ARCore puede determinar la posición y la dirección del teléfono móvil cuando se mueve en el espacio.
Además de identificar puntos clave, ARCore también puede detectar superficies planas, como mesas o pisos, y también puede estimar la iluminancia promedio del área circundante. La combinación de estas funciones permite a ARCore construir su propia comprensión del mundo que lo rodea.
La comprensión de ARCore del mundo real le permite colocar objetos, anotaciones u otra información de una manera que se integra perfectamente con el mundo real. Puede poner un gatito en la siesta en la esquina de la mesa de café o anotar la pintura con información biográfica sobre el artista. El seguimiento de movimiento significa que puede caminar y ver estos objetos desde cualquier ángulo, incluso si se da la vuelta y sale de la habitación, cuando regrese, el gatito o la anotación estará exactamente donde lo dejó.
Antes de profundizar en ARCore, es útil comprender algunos conceptos básicos. Estos conceptos juntos explican cómo ARCore puede hacer que el contenido virtual parezca permanecer en la superficie real o adjunto a la experiencia de ubicación del mundo real.
1. Seguimiento del ejercicio
Cuando su teléfono se mueve alrededor del mundo, ARCore utiliza un proceso llamado Localización y asignación sincrónica (SLAM) para comprender la ubicación del teléfono en relación con el mundo que lo rodea. ARCore detecta características visualmente distintas en la imagen de la cámara capturada, llamadas puntos de características, y usa estos puntos para calcular sus cambios de posición. La información visual se combina con mediciones inerciales de la IMU del dispositivo para estimar la pose de la cámara (posición y orientación) en relación con el mundo.
Al alinear la postura de la cámara virtual que renderiza el contenido 3D con la postura de la cámara del dispositivo proporcionada por ARCore, los desarrolladores pueden renderizar el contenido virtual desde el ángulo correcto. La imagen virtual renderizada se puede superponer a la imagen obtenida de la cámara del dispositivo para que parezca que el contenido virtual es parte del mundo real.
2. Comprensión del medio ambiente
ARCore puede usar la cámara RGB principal en dispositivos compatibles para crear mapas de profundidad que contienen datos sobre la distancia entre la superficie y un punto dado. Puede utilizar la información proporcionada por el mapa de profundidad para lograr una experiencia de usuario inmersiva y realista, como hacer que los objetos virtuales choquen con la superficie observada con precisión, o hacer que aparezcan delante o detrás de objetos reales.
3. Estimación de la luz
ARCore puede detectar información sobre su iluminación ambiental y proporcionarle la intensidad promedio y la corrección de color de una imagen de cámara determinada. Esta información le permite iluminar objetos virtuales en las mismas condiciones que el entorno circundante, aumentando así la sensación de realismo.
4. Interacción del usuario
ARCore utiliza las pruebas de posicionamiento para obtener las coordenadas (x, y) correspondientes a la pantalla del teléfono (proporcionadas al tocar o cualquier otro método interactivo que desee que admita la aplicación) y proyectar la luz en la visión del mundo de la cámara, de regreso a cualquier plano. O el punto característico donde los rayos se cruzan y la postura del punto de intersección en el espacio mundial. Esto permite al usuario seleccionar o interactuar con objetos en el entorno.
5. Punto de orientación
Los puntos de orientación le permiten colocar objetos virtuales en superficies inclinadas. Al realizar una prueba de impacto para devolver un punto de característica, ARCore mira los puntos de característica cercanos y usa estas características para intentar estimar el ángulo de la superficie en un punto de característica dado. Luego, ARCore volverá a la pose considerando ese ángulo.
Dado que ARCore utiliza grupos de puntos característicos para detectar el ángulo de la superficie, es posible que no pueda detectar correctamente superficies sin textura (como paredes blancas).
6. Anclas y objetos rastreables
A medida que ARCore mejora su conocimiento de su posición y entorno, la postura puede cambiar. Cuando desee colocar un objeto virtual, debe definir un punto de anclaje para asegurarse de que ARCore rastrea la posición del objeto a lo largo del tiempo. Por lo general, crea puntos de anclaje basados en la postura devuelta por la prueba de clic.
El hecho de que se pueda cambiar la postura significa que ARCore puede actualizar la posición de los objetos ambientales (como planos y puntos característicos) a lo largo del tiempo. Los planos y los puntos son un tipo especial de objetos, llamados objetos rastreables . Como sugiere su nombre, estos son los objetos que ARCore rastreará a lo largo del tiempo. Puede anclar el objeto virtual a un objeto rastreable específico para asegurarse de que la relación entre el objeto virtual y el objeto rastreable permanezca estable incluso cuando el dispositivo se mueve. Esto significa que si coloca una estatua de Android virtual sobre la mesa, si ARCore ajusta la postura del avión asociado con la mesa más tarde, la estatua de Android seguirá estando sobre la mesa.
7. Mejora la imagen
Las imágenes mejoradas es una función que le permite crear aplicaciones de realidad aumentada que responden a imágenes 2D específicas (como empaques de productos o carteles de películas). Cuando los usuarios apuntan la cámara del teléfono a una imagen específica, pueden activar una experiencia de RA; por ejemplo, pueden apuntar la cámara del teléfono a un póster de película y mostrar un personaje y hacer una escena.
ARCore también puede rastrear imágenes en movimiento, como vallas publicitarias en el costado de un autobús deportivo.
Las imágenes se pueden compilar sin conexión para crear una base de datos de imágenes, o se pueden agregar imágenes individuales en tiempo real desde el dispositivo. Después del registro, ARCore detectará estas imágenes, los límites de las imágenes y devolverá las poses correspondientes.
Con ARCore Cloud Anchor API, puede crear aplicaciones de juegos colaborativas o multijugador para dispositivos Android e iOS.
Con Cloud Anchors, un dispositivo enviará anclas y puntos de características cercanos a la nube para su alojamiento. Estos anclajes se pueden compartir con otros usuarios en dispositivos Android o iOS en el mismo entorno. Esto permite que las aplicaciones rendericen los mismos objetos 3D adjuntos a estos anclajes, lo que permite a los usuarios tener la misma experiencia de RA al mismo tiempo.
Introducción al escenario de aplicación:
Meitu-Usa AR para capturar tu yo soñado
Meitu utiliza la API de caras aumentadas de ARCore (API de caras aumentadas) para crear más de 100 filtros de selfies, lo que permite a los usuarios experimentar efectos especiales de RA al tomar fotos y videos. La API de cara mejorada proporciona una cuadrícula de caras 3D densa de alta precisión compuesta por 468 puntos, que rastrea los movimientos de la boca, parpadeos, asentimientos y algunos detalles complejos.
Además, la recién lanzada API de ubicación instantánea (API de ubicación instantánea) es aún más poderosa para Meitu. Con unas pocas líneas de código, al anclar objetos AR a imágenes 2D, los usuarios pueden colocar objetos virtuales e interactuar sin escanear.
Diccionario para niños de Youdao: aprenda de forma inmersiva con AR
Youdao Children's Dictionary usa AR para romper las limitaciones de tiempo y espacio, permitiendo que los niños aprendan nuevas palabras de una manera divertida y efectiva. Utilice la comprensión ambiental y la búsqueda de planos de ARCore para identificar objetos y características en el entorno, comprender el entorno con precisión y agregar modelos 3D geniales y realistas para que los niños aprendan vocabulario de manera inmersiva. Experiencia divertida.
Durante el proceso de aprendizaje, los niños no solo pueden proyectar el modelo exquisito en casa, observar desde varios ángulos, acercar o alejar o moverse; también pueden hacer clic en el cuadro de palabras en chino e inglés en el modelo, o hacer clic en la búsqueda de palabras página de resultados para ver las palabras en chino e inglés La interpretación autorizada de la palabra conecta profundamente la imagen y el significado de la palabra. Esto mejora enormemente la diversión de aprender y permite que los niños aprendan mientras juegan.
Didi-Use AR para obsesionarse con la carretera y no perderse nunca
En grandes áreas públicas como estaciones de tren, centros comerciales y aeropuertos, ¿tiene la experiencia de subir al autobús pero no encontrar al conductor? La navegación AR en el mundo real le facilita a Lu Chi encontrar la dirección.
Basado en la tecnología ARCore, Didi ha creado una solución de navegación del mundo real que reconoce la relación de posicionamiento entre el usuario y el entorno en tiempo real. La información de guía de navegación del mundo real de AR se combina de manera realista con el entorno del mundo real. Los usuarios solo necesitan para seguir las señales de tráfico de AR y omitir la conversión directamente Pasos para obtener información de mapas 2D. En este proceso, las funciones de seguimiento de movimiento y comprensión del entorno de ARCore garantizan que el teléfono móvil siempre reconozca la ubicación del usuario y proporcione una orientación correcta sobre la señalización.
Durante el posicionamiento, ARCore indicará al usuario que obtenga una imagen de posicionamiento eficaz y utilizará la función de seguimiento de movimiento para percibir la posición del usuario, la velocidad de movimiento y el ángulo. Al mismo tiempo, ARCore puede comprender el entorno real circundante a través de la función de comprensión del entorno y estimar la información del plano. Ya sea en el piso del centro comercial o en las paredes y letreros perpendiculares al suelo horizontal, puede comprender y ubicar rápidamente el el indicador virtual señala en consecuencia, de modo que la información de la guía se pueda representar bien. Más realista, permite que los usuarios comprendan de un vistazo.
Este tipo de método de navegación útil y con sentido tecnológico ha sido bien recibido por los usuarios una vez que se lanzó. Esta función se lanza en China, Japón y otros lugares y, según los datos, ayuda a los usuarios a ahorrar casi 1/4 de su tiempo, con una tasa de satisfacción del 80%.
ARCore New Development: permite que más personas experimenten un mundo más realista y mejorado en más lugares
Además de estos coloridos e innovadores resultados de cooperación, esta Conferencia de desarrolladores de Google también se centró en los últimos desarrollos en la tecnología ARCore, brindando a los desarrolladores dos funciones principales en el campo de AR: API de profundidad (API de profundidad) y tecnología de anclajes persistentes en la nube.
API profunda: resuelve los problemas de oclusión e interacción en el mundo de AR
A mediados de 2020, Google lanzó ARCore Depth API (Depth API), que brinda a los desarrolladores la esperanza de resolver los problemas técnicos de la inmersión de objetos virtuales. Los desarrolladores pueden crear mapas de profundidad con la API de profundidad y una sola cámara RGB. No depende de ningún hardware especial, por lo que se pueden usar API profundas en la mayoría de los dispositivos compatibles con ARCore.
Una de las funciones más críticas de Depth API es la "oclusión": los objetos virtuales pueden aparecer con precisión detrás de objetos reales y realmente mezclarse con la escena. Anteriormente, no había función de oclusión, y los objetos virtuales eran fáciles de "generar del cielo", más como "texturas" en el mundo real, haciendo que las personas aparecieran en un instante.
Como medio de inmersión visual, la RA sigue atrayendo la atención generalizada de todos los ámbitos de la vida. Como pionero en tecnología, Google está cooperando activamente con desarrolladores de todo el mundo, trayendo sorpresas una tras otra con el brillante ARCore. Este tipo de nueva experiencia transformadora ha logrado grandes avances en el desarrollo continuo, pero debe tener una visión más amplia. En el futuro, cómo empoderará a la sociedad y a las personas y cambiará su vida, esperemos y veremos.