Migrar grandes cantidades de datos es un problema ¿Cómo logra Amazon Cloud Technology tanto la migración como la eficiencia energética?

Configuraciones de personajes realistas, diseño de temas exquisito, experiencia interactiva inmersiva, múltiples escenas interactivas... una serie de configuraciones que son altamente consistentes con lo virtual y la realidad y se mapean entre sí, creando el encanto infinito del mundo del juego "Metaverse". La plataforma Blockman Go desarrollada por GVERSE es una de las plataformas UGC (contenido generado por el usuario) con un volumen considerable. Ante los datos masivos, los objetos de destino triviales y las necesidades de migración de bases de datos de gran volumen de GVERSE, el equipo de Amazon Cloud Technology diseñó un plan de migración con Amazon DynamoDB, Amazon Aurora y otros servicios como núcleo, y diseñó especialmente múltiples conjuntos de soluciones técnicas personalizadas para Introducir La gestión de proyectos profesional continuó con el seguimiento, lo que permitió que todos los datos se migraran en 7 horas.

7f7e1d87ab3447319f5faae9bedd0b9b.png

 

Oportunidad: Necesidades de migración de bases de datos con poco tiempo y tareas pesadas

A medida que el umbral de desarrollo disminuye, los juegos sandbox, con su incomparable interactividad, pueden convertirse en la clave para la "Era de la Creación de Contenido 3.0". La plataforma Blockman Go desarrollada por GVERSE permite a los jugadores desarrollar múltiples tipos diferentes de juegos para que jueguen otros jugadores. También proporciona ricas funciones de interacción social y es una plataforma UGC. Pero al mismo tiempo, este tipo de plataforma también presenta algunos problemas únicos.

Zheng Hengguo, socio técnico y director técnico de GVERSE, señaló que en comparación con los juegos en línea comunes, los juegos de plataforma UGC tienen las características de cubrir una amplia gama de jugadores, grandes cantidades de datos y ser triviales, lo que plantea una prueba considerable para la configuración. del servidor. GVERSE ha tenido un amplio contacto con Amazon Cloud Technology antes, utilizando su CDN dinámico, aceleración de red y servicios de big data. En el proceso, el extenso diseño global de múltiples nodos de Amazon Cloud Technology y su buena estabilidad le dejaron una profunda impresión. Por lo tanto, elegimos Continuar cooperando con Amazon Cloud Technology para esta migración de base de datos.

 

Solución: Estrategia personalizada para resolver 1450 fotos

Dificultades para migrar tablas grandes, medianas y pequeñas.

Migración de Amazon DynamoDB, división de categorías de tablas y finalización de la migración en unas pocas horas el mismo día

Dado que Amazon DynamoDB tiene una función de escalado automático y puede escalar de manera confiable a millones de solicitudes de usuarios simultáneos al mismo tiempo que garantiza una baja latencia constante de no más de 10 milisegundos, GVERSE utiliza principalmente la solución Amazon DynamoDB + Amazon Lambda para completar el trabajo de migración.

En cuanto a la migración de Amazon DynamoDB, Amazon Cloud Technology realizó un estudio en profundidad de la solución y descubrió que GVERSE tiene un enorme y numeroso volumen de datos de tablas, que involucra un total de 1.450 tablas de diferentes tamaños. Esta escala es bastante rara en todo el mundo. mundo. Entre ellos, la tabla de usuarios contiene una cantidad total de datos de usuario y el tiempo de importación y exportación se estima en 7 horas. Si se utiliza el método tradicional de "escritura doble", puede llevar hasta varios meses. Además, debido al atributo UGC del producto del cliente, cada minijuego abierto se almacenará en una tabla separada. Hay más de 1000 minijuegos (creados por jugadores) en toda la plataforma, pero sus niveles de actividad varían. , por lo que aparece el número de mesas. Numerosos desafíos tanto para mesas grandes como pequeñas. Lo que es aún más problemático es que para garantizar la experiencia del usuario, GVERSE requiere que la migración de la base de datos se complete en unas pocas horas el día del corte, lo que hace que la tarea de migración sea aún más ardua.

Ante este desafío, Amazon Cloud Technology propuso una solución de migración final personalizada después de muchas discusiones y verificaciones del proyecto: usar la solución CDC (Change Data Capture, change data capture) para copiar la tabla más grande y analizar las tablas restantes. lotes por categoría, con tablas pequeñas primero, y luego se utilizó la línea de comandos de Amazon CLI para migrar la exportación de Amazon DynamoDB S3 y la importación de Amazon DynamoDB S3 en lotes para tablas de diferentes categorías.Finalmente, la "Misión Imposible" se completó el día de cortando (Misión imposible).

Migración de MySQL, servicios totalmente gestionados, que ahorran tiempo y esfuerzo a los clientes

El tamaño de la base de datos MySQL de GVERSE es de aproximadamente 2 T. Teniendo en cuenta la conveniencia de la administración, se eligió Amazon Aurora como host. La función totalmente administrada de Amazon Aurora puede ahorrar significativamente costos de operación y mantenimiento. Su función de ejecutar automáticamente la agrupación y replicación de bases de datos estandarizadas resuelve los mayores problemas en la configuración y administración de bases de datos.

La migración de Amazon S3, solución de transmisión de datos en línea, resuelve el problema de los archivos finos

Las características de la plataforma de juegos UGC de que "los jugadores escriben sus propios juegos y eligen sus propios juegos para jugar" determina que hay una gran cantidad de juegos e información discreta sobre el comportamiento de los jugadores en la plataforma, lo que da como resultado que algunos depósitos de datos almacenen una gran cantidad de archivos pequeños por debajo de 40 K. El método CRR (replicación entre regiones) utilizado anteriormente ya no tiene ventajas de eficiencia. Amazon Cloud Technology optó por utilizar la solución Amazon Data Transfer Hub (DTH) para migrar esta parte de los datos, que tiene características externas como soporte de múltiples fuentes de datos, estructura sin servidor (sin costos iniciales, pago por uso), intuitivo y fácil de usar, etc., lo que lo hace especialmente adecuado para transferir una gran cantidad de archivos de diferentes tipos y tamaños desde múltiples IDC o nubes diferentes a servicios nativos de Amazon Cloud Technology. La activación de DTH permite una fácil migración de más de 600 millones de archivos fragmentados y el período de construcción se reduce de 1 mes bajo el método CRR a 3 días, satisfaciendo perfectamente las necesidades del cliente.

Refuerzo de productos de seguridad para garantizar la confianza del cliente

Para permitir a los jugadores crear y generar juegos en UGC sin riesgo, una vez completada la migración, Amazon Cloud Technology también implementó productos de seguridad como Amazon Guarduty RDS Protection, Amazon Inspector, Amazon Security Hub y Amazon WAF para GVERSE para garantizar la protección de la infraestructura. Los datos del usuario están seguros. Esta medida elimina efectivamente los riesgos potenciales y brinda a los clientes la confianza de que todas las empresas funcionan con la tecnología de la nube de Amazon.

 

Resultados comerciales: los profesionales hacen cosas profesionales,

La migración se une a la eficiencia energética

Zheng Hengguo dijo que los servicios de datos de Blockman Go se implementaron anteriormente en diferentes plataformas y que el nuevo contenido del juego, las pruebas de versiones y la gestión de configuración requirieron el desarrollo de dos sistemas para su adaptación. Una vez que la base de datos del juego se migra uniformemente a Amazon Cloud Technology, solo se necesita una solución. Además, dado que los datos ya no se transmiten entre plataformas, los costos de sincronización de datos se optimizan significativamente al tiempo que se eliminan los riesgos de transmisión. Si la empresa utiliza los servicios tradicionales de IDC, el equipo de operación y mantenimiento puede requerir de 5 a 10 personas, pero ahora solo se necesita una persona. Zheng Hengguo señaló que, en general, después de aplicar los servicios de tecnología en la nube de Amazon, la eficiencia del trabajo ha aumentado entre un 20 y un 30%.

Zheng Hengguo también elogió las capacidades profesionales y el espíritu de servicio del equipo de Amazon Cloud Technology durante el proceso de migración. En vista de la particularidad del método del proceso de gestión de proyectos, Amazon Cloud Technology lanzó un equipo de proyecto dedicado compuesto por equipos de clientes y expertos de Amazon DynamoDB específicamente para GVERSE para brindar asistencia de gestión del proyecto para reducir los riesgos de implementación. Para cada solución de procesamiento personalizada exclusiva, el equipo de expertos de Amazon Cloud Technology permanecerá en el sitio antes de la implementación para realizar pruebas y comunicaciones en el sitio para garantizar que los clientes acepten la solución en función de su comprensión de la solución, sepan qué es y por qué. y garantizar la seguridad de la solución. Implementado sin problemas.

Una vez completada la migración, GVERSE puede tener garantías de servicio altamente flexibles, estables a largo plazo, seguras y conformes, lo cual es especialmente crítico para una empresa que apunta a jugadores extranjeros y de todo el mundo. Zheng Hengguo mencionó que la escena de los juegos en línea puede enfrentar escenarios pico, especialmente para GVERSE, cuyo negocio se distribuye en muchos países y regiones diferentes y requiere una arquitectura distribuida para manejar el negocio. El aumento repentino de DAU aumentará exponencialmente la complejidad del procesamiento. Las soluciones de tecnología en la nube de Amazon liberan a GVERSE de las limitaciones impuestas por la infraestructura, lo que le permite centrarse en expandir los mercados extranjeros y prestar un mejor servicio a los jugadores. No hay necesidad de preocuparse por la seguridad y la estabilidad de los datos, y puede centrarse en el proceso de innovación corporativa.

Zheng Hengguo dijo: "Amazon Cloud Technology ayuda a los fabricantes de juegos en línea a resolver problemas en la operación y el mantenimiento de las máquinas, la optimización de la red y el cumplimiento de la seguridad. Sus buenos servicios eliminan la necesidad de que gastemos tiempo y energía en áreas en las que no somos buenos, lo que nos permite "Los fabricantes de juegos en línea se centrarán más en sus negocios. En términos de trabajo innovador, creo que Amazon Cloud Technology es una gran empresa".

En el futuro, GVERSE espera continuar cooperando con Amazon Cloud Technology, aprender en profundidad los métodos de optimización de costos de Amazon DynamoDB, usar la arquitectura ARM para mejorar el rendimiento, etc., y explorar más en conjunto en el camino hacia la reducción de costos y el aumento de la eficiencia.

Supongo que te gusta

Origin blog.csdn.net/m0_71839360/article/details/130927133
Recomendado
Clasificación