Debido a que la empresa está haciendo negocios por SMS, con el aumento de la cantidad de datos, el aumento diario de datos es de casi 200 w +, y todos los datos se almacenan en Mongodb. La cantidad total de datos es de casi 320 millones. La consulta comercial es lenta, así que decidí almacenar los datos de hace una semana Optimízalo en Mysql.
Plan interno de la empresa
- Opción 1 : usar Tidb para la optimización de consultas
Ventajas: admite alta concurrencia, alta disponibilidad, admite expansión horizontal ilimitada.
Ver detalles: ( https://pingcap.com/docs-cn/dev/key-features/#%e6%b0%b4%e5%b9%b3%e6%89%a9%e5%b1%95 ).
Cuando la cantidad de datos es pequeña, no es obvio.Hay consultas de optimización obvias en el nivel de 10 millones, pero las consultas de paginación de páginas grandes seguirán siendo relativamente lentas, como: las consultas de paginación seguirán siendo lentas, como consultar datos por encima de 9000 páginas, aún serán lentas
Desventajas: altos costos de mantenimiento, altos requisitos de configuración del servidor
2. Solución 2 : Oracle utiliza "vista materializada" para la optimización
Para más detalles, consulte: https://docs.oracle.com/cd/B19306_01/server.102/b14200/statements_2001.htm
3. Solución 2 : Mysql adopta la optimización de la subtabla horizontal y la subtabla vertical (tome el programa)
Ventajas: bajo costo de mantenimiento, bajo umbral para que todos mantengan, si necesita transferir más tarde, puede transferir directamente datos de Mysql a Tidb
Empresa: Transfiera los datos de Mongodb hace una semana a Mysql, casi 300 w + volumen de datos por día, y 1000W + volumen de datos por día durante el período pico de once once, a Mysql.
Optimización de la tabla de niveles MyISAM: https://blog.csdn.net/qq_31150503/article/details/105450236
Optimización de partición: https://blog.csdn.net/qq_31150503/article/details/105451273
Solución:
Use tareas programadas para consultar, migrar y guardar datos en Mongodb a Mysql todos los días
Plan de implementación:
https://blog.csdn.net/qq_31150503/article/details/105451876
Esquema de almacenamiento:
https://blog.csdn.net/qq_31150503/article/details/105451273
