La puerta de enlace de acceso de AServer transporta el tráfico de entrada de todo el Grupo Ali, es responsable del mantenimiento de la cadena larga de cientos de millones de usuarios, admite decenas de miles de reenvío de estrategias de enrutamiento y es un puente que conecta a cientos de millones de usuarios con cientos de miles de nodos de servicio back-end. Debe admitir cientos de millones de usuarios en línea, decenas de millones de QPS y decenas de miles de estrategias de control de API efectivas, para lograr un enrutamiento de reenvío seguro y confiable, y para garantizar una experiencia de usuario fluida y sedosa.
Detrás del soporte del control de gestión y tráfico empresarial a gran escala, es necesario controlar con precisión cada detalle del sistema para eliminar cada punto de riesgo potencial.
Con la ayuda de la arquitectura nativa de la nube, las operaciones de O&M se pueden simplificar en gran medida y se reducen los riesgos potenciales. Las puertas de enlace de acceso de Double Eleven Ali AServer de este año, miles de pods, superaron el pico de manera constante. Este artículo presenta principalmente cómo la puerta de enlace de acceso Ali AServer adopta los cambios de la arquitectura de la generación anterior y la evolución de una nube nativa integral.
Antecedentes de la evolución de la arquitectura
La promoción anual Double Eleven es la prueba más severa para todos los servicios de Alibaba, especialmente para la puerta de enlace de acceso AServer. Como el primer portal del Grupo Alibaba, debe resistir el pico de tráfico causado por la promoción pico y limpiar el tráfico de ataque. La escala del cúmulo es enorme.
La enorme escala del clúster y los requisitos extremos para el rendimiento de la máquina han llevado a la complejidad de la operación y el mantenimiento; con el aumento de los servicios de acceso, los escenarios comerciales compatibles se expandirán y la flexibilidad de la estrategia de enrutamiento y los requisitos efectivos en tiempo real del negocio cambiarán. Alto, tiene una fuerte demanda de la capacidad de orquestación dinámica de las estrategias de enrutamiento; debido a la diversidad de servicios, los diferentes ritmos de bloqueo de red de las líneas de negocio y el aislamiento de fallas, existe una demanda de estabilidad del aislamiento del tráfico.
La complejidad de la operación y el mantenimiento, la demanda de orquestación dinámica, el aislamiento del tráfico y los requisitos de rendimiento extremos impulsan la evolución y el crecimiento continuos de las puertas de enlace de acceso de AServer. Si bien se mantiene al día con el ritmo del desarrollo comercial, reduce gradualmente los costos de operación y mantenimiento y mejora la estabilidad del sistema. El sexo puede resistir la prueba de Double Once una y otra vez.
▐Business fondo
Como puerta de enlace de acceso AServer del Grupo Ali, transporta el tráfico de entrada de todo el Grupo Ali. La puerta de enlace tengine, que inicialmente admite la estrategia de reenvío de nombres de dominio, reenvía el nombre de dominio a diferentes servicios de back-end, y la forma comercial es relativamente simple.
Llegando a la era All in wireless, con el fin de optimizar la experiencia del usuario en el lado móvil y reducir el costo de desarrollo del personal del servidor, la puerta de enlace de API MTOP (Mobile Taobao Open Platform) de desarrollo propio del grupo, que proporciona una API consistente para el cliente y el servidor La plataforma y el mismo nombre de dominio solo se reenvían al servicio correspondiente a través de la información de API transportada por el URI. La puerta de enlace de acceso debe admitir la capacidad de enrutamiento y reenvío de acuerdo con la API (diferenciada por el URI), que ha aumentado rápidamente a decenas de miles de reglas en unos pocos años.
A medida que el desarrollo comercial se refina más, se espera que se subdividan diferentes escenarios comerciales bajo la misma API, como la fuente del lugar de promoción de Double Eleven, como compras móviles, Alipay y otras páginas de inversión externa para un control más refinado. Para adaptarse al desarrollo empresarial, las puertas de enlace deben admitir capacidades de control y gestión refinadas, y realizar la gestión, el control y la distribución en función de los parámetros de solicitud de servicio y los encabezados de solicitud. Cada solicitud debe coincidir con una ruta única de decenas de miles de reglas de configuración flexibles, mientras se mantiene un rendimiento extremadamente alto, lo cual es extremadamente desafiante.
Diagrama del modelo de negocio
▐ Antecedentes del sistema de operación y mantenimiento
Al principio, la infraestructura de soporte básica no era perfecta. La capa de puerta de enlace se construyó en base a tengine. La solución más simple y rápida es usar una máquina física, y el proceso de implementación y la configuración pueden completar la configuración del servicio. A medida que la empresa crece, la gestión de la configuración se convierte en un cuello de botella. La capa de puerta de enlace necesita una potente plataforma de gestión de la configuración para generar la configuración empresarial de forma estandarizada. La plataforma de gestión de la configuración de desarrollo propio divide la configuración en configuración de aplicación, gestión de configuración pública y configuración de certificado. tres partes.
Configuración pública: genere la configuración básica de tengine que se ejecuta a través de la administración de versiones de Git, como habilitar la configuración del módulo, tengine que ejecuta la configuración lógica
Configuración de la aplicación: genere la configuración de tengine requerida por la empresa a través de plantillas estándar
Configuración del certificado: Dado que el certificado tiene un período de vigencia, para evitar que se olvide actualizar cuando caduque, también realiza la tarea de actualización automática del certificado.
La arquitectura de implementación del sistema inicial:
Esta solución puede realizar el acceso de autoservicio empresarial La configuración de tengine se genera a través de la plantilla de la plataforma de gestión de la configuración, y luego se envía a la máquina de puerta de enlace con regularidad y se vuelve a cargar para que la configuración sea efectiva.
A través de este método de operación y mantenimiento, no depende de la infraestructura y puede evolucionar rápidamente. Sin embargo, con el crecimiento del negocio y el aumento en la escala de los clústeres, las desventajas de la operación y el mantenimiento de las máquinas físicas han surgido gradualmente. La era del crecimiento bárbaro ha pasado y, como portal de servicios de Ali, la estabilidad Se ha convertido en una de las principales prioridades. La versión binaria de las máquinas físicas se basa en la implementación manual. Es necesario ejecutar comandos en lotes para instalar paquetes rpm y reiniciar el proceso en lotes. Todo esto se completa con una pantalla negra.
Obviamente, este tipo de método de operación y mantenimiento no puede cumplir con los requisitos de estabilidad actuales.A través de la liberación manual, es muy fácil causar fallas sistémicas debido a un mal funcionamiento. Además, es difícil garantizar la coherencia en el funcionamiento y el mantenimiento de la máquina física, incluida la coherencia binaria y las comprobaciones de coherencia del propio entorno de la máquina (como los parámetros del kernel, etc.). Los métodos de operación y mantenimiento manuales en el pasado, obviamente, no se han mantenido al ritmo de los tiempos.
La mejor solución para resolver el problema de la liberación y la coherencia ambiental es la tecnología de contenedorización. Con la mejora de la infraestructura del grupo, la transformación de contenedorización de la puerta de acceso de acceso elimina los obstáculos y empaqueta los invariantes (configuración del sistema, binario) en uno para el lanzamiento. Las variables (configuración de la aplicación, configuración pública, certificados) continúan siendo administradas por la plataforma de administración de la configuración y ajustadas con tecnología de contenedorización.
Proceso de lanzamiento y cambio de configuración después de la transformación en contenedores:
La arquitectura en contenedores simplifica las operaciones de construcción, expansión y contracción del sitio, mejora en gran medida la eficiencia de publicación, aumenta el proceso de aprobación, sistematiza los puntos atascados y evita fallas causadas por operaciones humanas. El proceso de publicación también se puede conectar al sistema de monitoreo para alertar y Suspender la publicación.
▐Core cuestiones
A medida que el negocio del comercio electrónico se desarrolle cada vez más rápido, después de que la escala alcance el cuello de botella, el negocio tendrá una mayor expansión horizontal, el grado de refinamiento será cada vez mayor y la velocidad de iteración también aumentará. La capa de puerta de enlace se adapta a los cambios en el negocio. Cuanto mayor sea el costo, los problemas centrales que esto trae son:
Complejidad de la operación de operación y mantenimiento: debido a los requisitos extremos de rendimiento, los clústeres de puerta de enlace tienen requisitos especiales para las máquinas; debido a la particularidad de la gestión de la configuración de la puerta de enlace, se causa la complejidad de la operación de operación y mantenimiento; la existencia de particularidad no puede estar bien conectada con el grupo existente El sistema de operación y mantenimiento debe actualizarse;
Capacidades de orquestación dinámica insuficientes: con el aumento de los servicios de acceso, los escenarios comerciales admitidos se expanden y los requisitos de flexibilidad y rendimiento en tiempo real de la estrategia de enrutamiento de la empresa son cada vez más altos. Es difícil que la configuración estática surta efecto en tiempo real o la flexibilidad de las políticas. Para satisfacer las necesidades del desarrollo empresarial, se requieren capacidades de orquestación dinámica que respalden las estrategias de enrutamiento;
El costo del aislamiento del tráfico es alto: la falta de capacidades de aislamiento del ámbito empresarial liviano y el costo de crear nuevos clústeres es demasiado alto. Para admitir diferentes ritmos de cierre de red de líneas comerciales y admitir el aislamiento de fallas, se requiere una solución liviana de aislamiento de tráfico de múltiples clústeres.
El rápido desarrollo de la nube nativa en los últimos años también ha proporcionado una mejor opción de arquitectura para la capa de puerta de enlace.
Arquitectura nativa de la nube
Para resolver los problemas existentes de la pasarela de acceso, combinada con los escenarios de negocio del grupo y el sistema de código abierto nativo de la nube, se ha abierto la ruta de evolución nativa de la nube de la pasarela de acceso AServer. Para la verificación paso a paso, la descomposición de tres fases se realiza gradualmente: actualización del sistema de operación y mantenimiento, servicio Malla de gobernanza y pasarela, arquitectura dividida de norte a sur. A continuación, se explica cada paso en detalle.
▐Actualización del sistema de operación y mantenimiento
Problemas por resolver
Mediante la actualización e implementación en contenedores, los métodos de implementación, operación y mantenimiento se simplifican en gran medida, y los problemas más importantes en ese momento pueden resolverse. Sin embargo, no es suficiente modificar el método de implementación:
Debido a la particularidad de la puerta de enlace de acceso (como la necesidad de conectarse a la plataforma de gestión de configuración, hay una gran cantidad de requisitos VIP), no se puede conectar directamente a la infraestructura del grupo, y se han desarrollado herramientas de operación y mantenimiento personalizadas independientes. El proceso de expansión y contracción requiere múltiples fundamentos. Los componentes se coordinan a través de interfaces no estándar, lo que afecta en gran medida la eficiencia iterativa de los productos de operación y mantenimiento.
Operaciones como la sustitución de la máquina por una que funciona mal se basan en el sondeo y la detección por un sistema externo, y el sistema de configuración básica del grupo solo se puede procesar acoplando la plataforma de operación y mantenimiento personalizada, que tiene un gran retraso
Las operaciones de operación y mantenimiento están separadas del sistema de operación y mantenimiento del grupo.
Pensamiento evolutivo
Con la mejora gradual de la infraestructura unificada ASI (infraestructura sin servidor de Alibaba) diseñada para aplicaciones nativas de la nube dentro del grupo, se proporciona un soporte completo de pila de tecnología nativa de la nube basado en la API nativa de K8S.
La solución nativa de la nube tiene sólidas capacidades de orquestación. Es fácil suavizar las peculiaridades de la capa de puerta de enlace implementando la expansión de k8s a través de la personalización. Los métodos originales de operación y mantenimiento automatizados de ASI se pueden aplicar directamente a la capa de puerta de enlace.
La particularidad del modelo de la capa de la puerta de enlace se puede realizar dividiendo el grupo de nodos. El modelo y los parámetros del kernel del grupo de nodos de la máquina de la puerta de enlace se pueden personalizar, eliminando la particularidad de la operación y el mantenimiento de la puerta de enlace, y gestionando la operación y el mantenimiento de manera unificada.
Plan de evolución
A través de las capacidades de expansión del controlador propio de k8s, arreglos de contenedores personalizados, puede monitorear los eventos de cambio de Pod durante la expansión y contracción para realizar adiciones y eliminaciones de máquinas a la plataforma de administración de configuración, y también puede montar / desinstalar VIP, suavizando la particularidad de operación y mantenimiento. Y todos los recursos se definen a través de API declarativa, que es conveniente para la operación y el mantenimiento.
Para la operación y el mantenimiento de la puerta de enlace, también es necesario mantener una plataforma de operación y mantenimiento muy simple, que solo se usa para la construcción de sitios web. En comparación con las aplicaciones comunes, la construcción de la puerta de enlace necesita crear VIP en el área correspondiente y realizar operaciones como el enlace de dominio, que es liviano y fácil de mantener:
A través de la transformación de ASI, la operación y el mantenimiento de la puerta de enlace de acceso se integra en el sistema nativo en la nube de ASI del grupo (mejorando la eficiencia de la entrega y eliminando la operación y el mantenimiento especiales), y las capacidades generales se reducen a ASI y sistemas básicos. Al mismo tiempo, tiene aislamiento de riesgo, autorrecuperación, Flexibilidad
Aislamiento de riesgos: utilice las capacidades de Sidecar para aislar las capacidades de seguridad e ingeniería para evitar interferencias mutuas entre las dos. Las capacidades de seguridad anormales solo afectarán la limpieza del tráfico. Una vez que las capacidades de seguridad se degraden, el servicio general no dejará de estar disponible;
Autorreparación: para la capacidad de autorreparación de los contenedores, el método de contenedorización original se basa en la detección de sondeo de aplicaciones externas. Faltan precisión y rendimiento en tiempo real. Después de actualizar ASI, la detección del contenedor en sí puede ser de 3-5 Identifique y reemplace el contenedor defectuoso en minutos;
Capacidad de resiliencia: a través de la transformación de ASI, el método de acoplamiento de cada sistema puede usar API declarativas estándar para integrar varios componentes en el grupo, lo que simplifica enormemente las operaciones de expansión y contracción y brinda soporte para la flexibilidad automática;
Diferencias en modelos blindados: mediante la división de grupos de nodos, se pueden utilizar modelos especiales para aplicaciones de puerta de enlace y la configuración subyacente protege las diferencias sin operaciones especiales.
▐Gobernanza de servicios y malla de pasarela
Problemas por resolver
A medida que aumentan los tipos de servicios a los que se accede en la capa de puerta de enlace, es necesario admitir decenas de miles de reglas de enrutamiento de API, y las estrategias de enrutamiento se están volviendo cada vez más refinadas y el uso de las capacidades nativas de tengine no puede satisfacer las necesidades comerciales. A través del desarrollo personalizado del módulo tengine, método de definición no estándar, puede adaptarse bien al desarrollo del negocio en los últimos años, pero a medida que las demandas comerciales se vuelven más refinadas, el costo del desarrollo personalizado del módulo tengine ha aumentado gradualmente.
Estructura original
La configuración de enrutamiento es una combinación de configuración de módulo + configuración nativa. Múltiples configuraciones de módulo determinan conjuntamente la estrategia de enrutamiento. La configuración distribuida no puede identificar una ruta de enrutamiento completa para una solicitud;
A través de la división de módulos funcionales, es difícil implementar actualizaciones incrementales de acuerdo con la granularidad empresarial;
Según la arquitectura de tengine, la capacidad de cambiar dinámicamente es insuficiente, y los cambios de nombre de dominio se impulsan y configuran regularmente a diario, lo que no puede satisfacer las necesidades de una iteración comercial rápida;
Los protocolos no estándar se conectan directamente a diferentes plataformas de gestión y control, lo que tiene un alto costo de conexión y no es fácil de cerrar y controlar;
Para diferentes líneas de negocio (como Taoxi, Youku), se debe lograr el aislamiento de recursos Dado que la mayoría de las configuraciones de los módulos utilizan configuraciones públicas estáticas, el costo de construir un sitio web es relativamente alto.
▐ Ideas de evolución
Cómo orquestar dinámicamente y controlar con precisión las estrategias de enrutamiento es la consideración principal en el sistema nativo de la nube. Consulte las prácticas de la capa de puerta de enlace de la industria, como Kong, Ambassador, etc. Las implementaciones del plano de datos de la puerta de enlace principal se basan todas en nginx o envoy. La comparación de la escalabilidad, las capacidades de orquestación dinámica y la madurez de diferentes productos:
Desde la perspectiva de la dinámica, la estandarización y el rendimiento, usar envoy como plano de datos es más adecuado para la evolución nativa de la nube:
Dinámico y flexible
-
El protocolo xDS estándar implementado por Envoy es lo suficientemente flexible y se puede configurar completamente y cambiar dinámicamente
Envoy es lo suficientemente extensible y la lógica de enrutamiento única dentro del grupo se puede realizar implementando la extensión del filtro
Estándar
-
componentes estándar de istio, fuerte apoyo de la comunidad y rápido desarrollo
El mallado de Ali Group utiliza soluciones de tecnología istio y envoy como una opción de plano de datos se puede unificar con la gestión y el control empresarial del grupo.
actuación
-
Implementación de C ++, el rendimiento es lo suficientemente bueno y la eficiencia del desarrollo es superior a tengine
La desventaja de envoy es que, como componente estándar de istio, tiene sólidas capacidades de enrutamiento este-oeste. Como dirección norte-sur, se requieren ciertas optimizaciones de rendimiento y estabilidad, pero a largo plazo, la dinámica y la estandarización son más importantes.
Plan de evolución
Como componente del plano de control unificado, Reuse Group Pilot realiza la malla de la puerta de enlace en sí:
El plano de control debe proporcionar una capa de lógica de gestión y control para cerrar los permisos a fin de proporcionar la escritura de cada producto comercial expuesto. Cada producto escribe la estrategia de enrutamiento a través de la API declarativa k8s y luego se convierte del plano de control Pilot al protocolo del plano de datos xDS para la sincronización en tiempo real Para el plano de datos Envoy, la arquitectura de implementación de la puerta de enlace de enrutamiento hacia el sur:
Debido a la gran escala de configuración del grupo, cientos de miles de reglas de enrutamiento, miles de aplicaciones y cientos de miles de nodos comerciales, el sistema de código abierto rara vez tiene tal escala. Después de que se aplica la solución Pilot + Envoy a la puerta de enlace norte-sur, es necesario optimizar y personalizar los componentes nativos para resolver los problemas de rendimiento y estabilidad causados por la escala:
Pilot admite el protocolo SRDS: resuelva el problema de rendimiento de coincidencia lineal causado por la configuración de API a gran escala
Actualización de configuración incremental: realice y mejore la capacidad de actualización incremental del plano de control para evitar el riesgo de expandir el radio de cambio debido a la actualización completa
Optimización del cambio de nodo: resuelva el impacto de los cambios de estado de cientos de miles de nodos comerciales en el rendimiento del plano de control y del plano de datos
Personalización ampliada: implementación de filtros personalizados para reglas de enrutamiento específicas de grupo
Al personalizar y optimizar el sistema de código abierto, las necesidades del grupo pueden coincidir bien y las necesidades especiales de diferentes negocios dentro del grupo pueden realizarse mediante combinaciones de configuración flexibles y capacidades de transmisión de superficie de control iterativo rápido.
▐ División norte- sur
Problemas por resolver
Como puente entre usuarios y servicios, la puerta de enlace mantiene viva la cadena larga del lado del usuario y optimiza el protocolo para permitir que los usuarios se conecten al grupo de la manera más rápida y estable posible; admite enrutamiento flexible y fusiona estrategias de limitación de corriente para servicios y equilibrio de carga. Aunque las capacidades generales de mantenimiento de conexión y enrutamiento y reenvío se revelan como puertas de enlace, los requisitos de eficiencia iterativa y características de servicio de los dos son bastante diferentes.
En algunos escenarios de grandes promociones, incluso si hay picos de tráfico inesperados, la capa de puerta de enlace, como barrera para proteger los servicios comerciales, puede seguir siendo tan estable como una roca, confiando en reservas de alto rendimiento y nivel de agua. Teniendo en cuenta la larga cadena de mantenimiento, la optimización del protocolo tiene este ciclo iterativo largo y el rendimiento es extremadamente alto; el reenvío de enrutamiento y la limpieza del tráfico son naturalmente relativamente altos debido a estrategias flexibles y complejas. Si los dos se dividen en arquitecturas, puede ser mucho Mejorar la tasa general de utilización de recursos.
Ideas y planes de evolución
La desinstalación del protocolo, el mantenimiento de la cadena larga, etc., interactúan con el cliente y pueden mantener módulos de rendimiento extremadamente alto, que se pueden dividir por separado en grupos en dirección norte. Debido al buen rendimiento, solo se puede usar una pequeña cantidad de máquinas para construir una presa alta para bloquear la inundación; La estrategia de enrutamiento comercial está relacionada con la capacidad de limpieza de seguridad, que consume más rendimiento. Se divide en el grupo en dirección sur, y el grupo en dirección sur está protegido contra sobrecargas a través de la presa alta en dirección norte. El grupo en dirección sur puede reducir el nivel de agua reservado, mejorando así la utilización general de los recursos De esta manera, no solo puede mejorar la utilización de recursos, sino que también se puede configurar de manera flexible para satisfacer las necesidades de un rápido desarrollo empresarial.
▐Overall arquitectura
A través de tres etapas de evolución, el diagrama de arquitectura final es el siguiente:
Arquitectura nativa de la nube de la puerta de enlace de acceso del servidor
Plano de control unificado: acceso al servicio, descubrimiento de servicio y control de limitación de corriente a través del plano de control unificado del grupo, que desempeña un papel en el manejo unificado de cambios;
Capa de conexión hacia el norte: basada en tengine que transporta cientos de millones de usuarios en línea y picos de tráfico, actúa como una presa alta y mejora la utilización de recursos de la capa de enrutamiento hacia el sur;
Capa de enrutamiento hacia el sur: basada en el protocolo xDS de conversión Envoy through Pilot para emitir dinámicamente estrategias de enrutamiento para lograr enrutamiento dinámico y soluciones de aislamiento de tráfico ligeras;
Base nativa de la nube: las operaciones de operación y mantenimiento se establecen en la infraestructura unificada ASI del grupo, que protege las diferencias de puerta de enlace y reduce la complejidad de la operación y el mantenimiento.
futuro
La puerta de enlace de acceso Ali AServer está evolucionando a la nube nativa paso a paso. Cada evolución se basa en los problemas que nos han acosado durante mucho tiempo, pero no se trata solo de resolver problemas. Al mismo tiempo, en base a las soluciones de la era actual, la transformación de la arquitectura nativa de la nube está lejos del final. , Las ventajas de la nube nativa aún no se han aprovechado por completo. La actualización de la tecnología es, en última instancia, para los servicios de productos. Después de la actualización nativa de la nube, tenemos un motor potente. Lo siguiente que debemos hacer es utilizar este motor para transformar la forma del producto, de modo que los desarrolladores basados en la puerta de enlace se beneficien en última instancia.
▐Product integración
¿Qué tipo de estado es el mejor estado de un producto de puerta de enlace? Los desarrolladores lo usan todos los días, pero no necesitan preocuparse por la existencia de la puerta de enlace, por lo que el estado con la menor sensación de presencia puede ser el mejor estado. La puerta de enlace de acceso actual expone algunos detalles de implementación del formulario del producto. Una aplicación de entrada necesita interactuar con varios sistemas diferentes para completar el acceso. Una vez que se completa la transformación nativa de la nube, puede realizar mejor todo en uno e integrar el producto. Y circuito cerrado.
▐Rápido y flexible
Aunque la actualización de ASI Pod se ha completado, puede realizar automáticamente operaciones como el reemplazo de máquinas defectuosas y la migración de máquinas, lo que reduce los costos de operación y mantenimiento, pero una de las capacidades más importantes de la nube es la flexibilidad rápida, como la expansión rápida antes de la promoción de doble once pico , La rápida contracción después de la gran promoción puede reducir en gran medida los recursos de la máquina reservados para prepararse para la gran promoción, lo que ahorra una gran cantidad de costos. Por supuesto, hay muchos problemas que resolver, como la seguridad, la confiabilidad y el tiempo real elástico, todos los cuales deben construirse junto con la infraestructura de la nube para aprovechar realmente la nube.
Equipo de Arquitectura y Servicio Básico del Departamento de Tao
Comprometidos a proporcionar capacidades, productos y soluciones básicos para el departamento de Tao y Ali:
Implementación y aterrizaje del protocolo de red de próxima generación QUIC-XQUIC
Soluciones adaptables de alta disponibilidad y capacidades básicas-Noah
Plataforma modelo de investigación y desarrollo empresarial de nueva generación-Gaia
Admite todo el sistema de middleware móvil de Ali (decenas de millones de pasarelas de acceso QPS, pasarelas API, push / message, centro de configuración móvil, etc.)
El equipo reúne vacas grandes ~~ Si desea unirse a nosotros, envíe su currículum a: [email protected]
✿ Más lecturas
Autor | Deng Bo (Light Cone)
Editar | Naranja
Producido | Nueva tecnología minorista de Alibaba