Como um banco de dados de documentos Schema Free, o MongoDB é amplamente bem recebido pelos desenvolvedores e amplamente utilizado devido ao seu modelo de dados flexível, que suporta pesquisa e desenvolvimento de negócios rápidos e iterativos. No processo de empresas que usam o MongoDB para transportar aplicativos, haverá MongoDB devido a cenários de negócios, como migração para nuvem/entre nuvens/fora da nuvem/migração entre salas de computadores/migração entre regiões ou atualizações de versão de banco de dados, integração de banco de dados , divisão de banco de dados e recuperação de desastres. Requisitos de negócios para migração ou sincronização.
No processo de migração do MongoDB, o tempo de migração, a precisão dos dados de migração e os requisitos de tempo de inatividade do negócio durante o processo de migração são, sem dúvida, os principais fatores que afetam o sucesso da migração. Portanto, é crucial escolher uma ferramenta de migração apropriada para fornecer capacidades de migração eficientes, seguras e precisas.
01Solução Tradicional de Migração de Dados
A migração tradicional do MongoDB é geralmente baseada em ferramentas de importação e exportação, como mongodump e mongorestore para migração de dados. O uso desta ferramenta de migração geralmente apresenta os seguintes problemas:
-
O tempo de inatividade é longo. Como o mongodump/mongorestore não oferece suporte à coleta e replicação de dados incrementais, durante o período de migração do MongoDB, é necessário um tempo de inatividade do negócio. O tempo de inatividade geralmente dura várias horas/dias, o que é um grande desafio para o negócios. Principalmente quando a migração é difícil, a migração costuma se repetir muitas vezes e o tempo de desligamento do serviço é ainda mais incontrolável.
-
A fiabilidade não é elevada e as capacidades de observação, diagnóstico e reparação do processo de migração não são fornecidas.Os erros no processo de migração geralmente requerem re-migração, e a migração é difícil.
-
A precisão dos dados é difícil de garantir. Uma vez que tais ferramentas não fornecem capacidades de detecção de qualidade correspondentes, é geralmente difícil garantir a qualidade dos dados migrados.
-
A migração de grandes volumes de dados é um desafio. Devido à sua capacidade insuficiente de recuperação de desastres, não pode suportar bem a migração de grandes volumes de dados e grandes tabelas.
02 Solução de migração de dados NineData
A fim de resolver o problema de migração do MongoDB enfrentado pelos usuários, NineData, uma plataforma de gerenciamento de dados inteligente nativa da nuvem sob a Nine Zhang Arithmetic, lançou o recurso de migração de dados ininterrupta de negócios do MongoDB. NineData realiza migração de dados totalmente automatizada e recursos incrementais de coleta e replicação de dados. Entre eles, a capacidade de migração incremental de dados pode monitorar e coletar o oplog gerado pela mudança de dados de origem do MongoDB em tempo real durante a migração de estrutura e migração completa de dados, e copiar os dados alterados para o MongoDB de destino em tempo real após a conclusão da migração completa. , realizando a replicação dinâmica do MongoDB de origem/destino. Com base na capacidade alterada de migração de dados, durante o processo de migração de dados do MongoDB, a empresa pode fornecer serviços normalmente sem interromper o serviço. Por fim, a empresa pode escolher o momento correspondente para mudar para o MongoDB alvo de acordo com as necessidades. O processo específico é mostrado na figura abaixo.
Além de fornecer recursos de migração de serviços ininterruptos, o MongoDB fornecido pela NineData também possui os seguintes recursos:
▶︎A capacidade de migrar grandes quantidades de dados ou tabelas grandes
Com base em vários recursos técnicos, como fragmentação inteligente, acumulação dinâmica de lotes, migração simultânea e transferência de retomada de ponto de interrupção em nível de tabela, ele fornece fortes recursos de migração.
▶︎Comparação de consistência de dados
NineData fornece o recurso de comparação de dados do MongoDB, que pode realizar comparação de consistência eficiente, identificar rapidamente dados diferentes e fornecer scripts de correção correspondentes para corrigir e reparar rapidamente o conteúdo diferente, garantindo efetivamente a qualidade dos dados migrados.
▶︎Capacidades observáveis e intervenientes
NineData fornece status de migração detalhado, progresso e informações detalhadas. Quando ocorrerem exceções de migração, ele fornecerá uma variedade de recursos de diagnóstico e reparo para ajudá-lo a garantir a estabilidade da tarefa. Ao mesmo tempo, fornece capacidade de limitação de fluxo de migração e você pode personalizar a velocidade de migração de acordo com as necessidades do seu negócio para garantir a estabilidade do MongoDB.
03Inicie a migração totalmente automatizada em um minuto
Embora forneça uma capacidade de migração MongoDB relativamente poderosa, NineData é muito fácil de usar, leva apenas 1 minuto para concluir a configuração da tarefa e pode automatizar totalmente o processo de migração e sincronização de dados. Vamos dar uma olhada no processo de configuração de toda a tarefa:
3.1 Configurar tarefas de replicação
Solução de migração e sincronização MongoDB: tarefa de replicação de configuração NineData
Com base nas operações acima, após concluir a seleção da fonte de dados de replicação, do objeto de replicação e do tipo de replicação, você pode iniciar rapidamente a migração totalmente automatizada do MongoDB. Quando a tarefa for iniciada, NineData executará automaticamente a migração completa de dados e a replicação incremental de dados.
Após a conclusão da migração de dados, você também pode configurar a comparação de dados correspondente para verificar a consistência dos dados, descobrir, localizar e reparar rapidamente os dados diferentes. A verificação de consistência de dados será realizada nos dados do mongodb recém-migrados.
3.2 Comparação de dados completos
Solução de migração e sincronização MongoDB: comparação completa de dados NineData
Conforme mostrado no vídeo, para os dados do MongoDB recém-migrados, você pode configurar e executar a tarefa de comparação de dados para realizar uma comparação de dados precisa e completa. Durante o processo de comparação de dados, NineData comparará com precisão o conteúdo de cada documento, descobrirá rapidamente a diferença e fornecerá scripts revisados direcionados.
Neste ponto, quando a migração de dados for concluída, a verificação de dados e a verificação de negócios forem aprovadas, a empresa pode escolher um período de pico baixo para desligar o MongoDB e mudar para um novo banco de dados, completando assim todo o processo de migração.
04 escreva no final
É claro que, além da migração do MongoDB, o NineData oferece suporte à replicação de longo prazo entre instâncias do MongoDB, que pode ser aplicada a cenários de negócios como recuperação de desastres de dados, separação de leitura e gravação e construção de dados de teste. Ao mesmo tempo, NineData também apoiou a migração e replicação de dezenas de bancos de dados comuns. NineData fornece modo SAAS pronto para uso e modo de cluster específico da empresa para atender aos mais altos requisitos de conformidade de segurança de dados das empresas. Atualmente, a NineData concluiu práticas de aplicação em larga escala em muitos setores, como operadores, finanças, manufatura, imobiliário e comércio eletrônico.
Migração de dados-Ferramentas de migração-Transferência de dados-NineData-Nine Data