Como um dos bancos de dados relacionais de código aberto mais utilizados, o MySQL possui características de alto desempenho, estabilidade e facilidade de uso, sendo o principal armazenamento de dados para muitos sites, aplicativos e produtos comerciais. Em alguns cenários, se houver centenas de milhões de linhas em uma única tabela, o desenvolvimento e o DBA poderão ser necessários para otimizar a tabela grande: divisão de tabelas, arquivamento ou operações de expansão, todas envolvendo migração de dados. Portanto, é muito necessário fornecer recursos de migração de grandes tabelas eficientes, precisos e estáveis.
1. Solução de migração tradicional
Atualmente, a migração de dados é dividida principalmente em migração lógica e migração física. A migração lógica inclui principalmente mysqldump, mysqlpump e dados de carga, e a migração física inclui principalmente XtraBackup. Para este tipo de esquema de migração tradicional de importação, exportação e cópia de arquivos, existem alguns problemas na migração de tabelas grandes:
-
O tempo de inatividade é necessário e os serviços online não podem ser garantidos para migração física.
-
Baixo desempenho, para migração lógica, tabela de exportação de thread único.
-
A confiabilidade é baixa. Depois de exportar uma exceção, os pontos de interrupção não são suportados e precisam ser reexportados.
-
O desempenho de operação e manutenção é ruim. Durante o período de migração, operações como pausar e limitar a importação e exportação não podem ser realizadas.
2. Solução líder de migração
A replicação de dados fornecida pela NineData inclui recursos de migração e sincronização de dados e fornece recursos de migração de grandes tabelas eficientes, estáveis e sustentáveis sem afetar os negócios. Migração de tabelas grandes (227G para uma única tabela, 1 bilhão de linhas): NineData conclui a migração em cerca de 30 minutos, com velocidade média de 124,2 MB/s e média de 534.188 RPS.
Através do teste de desempenho da migração de tabelas grandes do MySQL, em comparação com a migração tradicional, as vantagens da migração de dados NineData são:
-
Fácil de usar: a configuração das tarefas pode ser concluída em um minuto e a migração das tarefas pode ser totalmente automatizada.
-
Forte desempenho: tecnologias básicas perfeitas, como fragmentação inteligente, simultaneidade em nível de linha e acumulação dinâmica de lotes, podem garantir efetivamente o desempenho da migração.
-
Alta confiabilidade: Combinado com novos pontos de interrupção, diagnóstico anormal e métodos de reparo avançados, fornece recursos perfeitos de recuperação de desastres para falhas de software e hardware que podem ocorrer durante o processo de migração, melhorando significativamente a taxa de sucesso de migrações de grandes tabelas.
Através das vantagens acima, a posição de liderança da NineData no cenário de migração de grandes tabelas está garantida. Além disso, NineData também fornece uma função de comparação, incluindo comparação de dados e estrutura, bem como métodos de comparação de reinspeção completos, rápidos e inconsistentes, e também suporta diferentes frequências de comparação. Após a migração ou replicação, a consistência dos dados pode ser efetivamente garantida através da comparação de dados e estruturas.
Ao mesmo tempo que fornece recursos de migração poderosos, NineData também garante a simplicidade de uso: leva apenas 1 minuto para concluir a configuração da tarefa de migração, realizando um processo de migração de dados totalmente automatizado. Vamos dar uma olhada no processo de configuração de toda a tarefa:
Configuração do link de migração
-
Configure o nome da tarefa, selecione as instâncias de origem e de destino para migrar.
-
Selecione o tipo de cópia, selecione a estrutura e a cópia completa (migração de dados) para migração de dados.
-
Selecione uma estratégia apropriada de tratamento de conflitos, conforme necessário.
-
Clique em Avançar para selecionar o objeto de migração.
Selecione o objeto de migração
Selecione objetos de migração: Selecione objetos de migração para diferentes granularidades: instâncias, bibliotecas, tabelas, visualizações, etc.
Configurar regras de mapeamento e filtragem: a instância de destino pode personalizar o nome da biblioteca migrada, o nome da tabela e realizar migração parcial de dados de acordo com as condições de filtro, e também pode realizar mapeamento e migração parcial de colunas para os nomes das colunas da tabela.
pré-verificação
Através de itens de verificação ricos, a estabilidade da tarefa de migração e a consistência com os dados são garantidas. Até agora, concluímos a configuração de uma tarefa de migração de alto desempenho.
Ao mesmo tempo, a fim de proporcionar uma melhor experiência de migração, a NineData fornece capacidades abrangentes de observação e intervenção para o processo de migração. Ele não apenas fornece status detalhado, progresso e detalhes da migração de objetos, mas também revela a execução interna de threads em segundo plano por meio de monitoramento e logs, ajudando os usuários a acompanhar o progresso da migração em todas as direções. Ao mesmo tempo, também fornece recursos básicos de diagnóstico para situações anormais que podem ocorrer durante a operação, bem como múltiplas estratégias de reparo, como reparo, salto e remoção, e recursos de migração e limitação de corrente, permitindo aos usuários diagnosticar e diagnosticar de forma independente e rápida. reparar links para garantir a estabilidade da migração.
3. Resumo
A capacidade eficiente, rápida e estável de migração de tabelas grandes do MySQL fornecida pela NineData complementa bem as deficiências das soluções de migração tradicionais. Atualmente, NineData já suporta a migração e replicação de dezenas de bancos de dados comuns e, ao mesmo tempo, além do modo SAAS, também fornece um modo de cluster específico da empresa para atender aos mais altos requisitos de conformidade de segurança de dados das empresas. Atualmente, a NineData concluiu práticas de aplicação em larga escala em muitos setores, como operadores, finanças, manufatura, imobiliário e comércio eletrônico. Se estiver interessado, você pode fazer login no site oficial https://www.ninedata.cloud/dbmigration e começar a usá-lo gratuitamente imediatamente.