Arquitetura de banco de dados de big data/construção de data center

prefácio

No processo de transformação da informatização para a digitalização, as empresas acumularam enormes quantidades de dados e ainda estão crescendo de forma explosiva. Há muitos dados, mas poucos dados que realmente possam gerar valor. Os dados geralmente estão dispersos, não alinhados e carecem de uma definição e estrutura unificadas. Está se tornando cada vez mais difícil encontrar os dados desejados e utilizáveis.
Como realizar a agregação e conexão de dados e quebrar as ilhas de dados e o monopólio é particularmente importante.

1. O objetivo do banco de dados

1. O gerenciamento unificado de dados estruturados e não estruturados, que são todos ativos de dados, pode ser rastreado até produtores de dados, consumidores e fontes de negócios;
2. Abra o canal de fornecimento de serviços de dados, forneça matérias-primas ricas em dados, produtos semiacabados ou produtos acabados para consumo de dados e atenda às necessidades de consumo de dados da análise de autoatendimento da empresa, operação digital e outros cenários;
3. Garanta que os dados corporativos sejam completos, consistentes e compartilhados. Monitorar o status dos dados de cada link sob o link de dados completo; do ponto de vista do armazenamento, diagnosticar redundância de dados, duplicação e problemas "zumbis", reduzir dimensões de dados e custos de uso;
4. Garantir a segurança e controlabilidade dos dados, com base em políticas de segurança de dados, usar o controle de autoridade de dados e por meio de pacotes de serviços de dados e outros meios técnicos para obter o consumo legal e compatível de dados confidenciais e privados;

2. Diagrama de arquitetura de banco de dados

A construção da base de dados não se faz da noite para o dia, devendo ser promovida de forma global para promover a construção; o titular dos dados é o primeiro responsável pela construção da base de dados de cada linha de negócio; os princípios de construção são do seguinte modo:

1. Princípios de segurança de dados: requisitos de gerenciamento, como direitos do usuário, níveis de confidencialidade de dados e privacidade básica devem ser seguidos;
2. O princípio da tração nas duas rodas de demanda e planejamento: a construção é impulsionada pelo planejamento e demanda de negócios, e é dada prioridade à construção de ativos de dados principais;
3. Princípio multicenário de fornecimento de dados: Fornecer diferentes canais de fornecimento de dados (offline/real-time/físico/virtual) de acordo com as necessidades do negócio para atender a diferentes cenários de consumo;
4. A arquitetura da informação segue o princípio: os ativos de dados do banco de dados devem estar de acordo com a arquitetura da informação da empresa;

3. Dados no lago

Dados no padrão do lago

1. Limpar proprietário dos dados
2. Publicar padrões de dados
3. Fonte de dados de autenticação
4. Definir classificação de dados
5. Avaliação da qualidade dos dados
6. registro de metadados

Como os dados entram no lago

1. integração em lote
2. Sincronização da replicação de dados
3. integração de mensagem
4. integração de fluxo
5. virtualização de dados

mais conteúdo

Big Data - Construção de Data Lake

4. Associação de titulares de dados: transformando dados em informações

Através de 5 tipos de métodos de conexão, os dados de diferentes linhas de negócios são conectados e os dados no data lake são transferidos de produtos semi-acabados e produtos acabados de plantas de processamento de matérias-primas para atender às necessidades de consumo de dados de diferentes cenários;

1. modelo multidimensional
2. modelo gráfico
3. Rótulo
4. dados do indicador
5. Algoritmos e Modelos

mais conteúdo

Big Data - Modelagem de Dados e Uniões de Tópicos

Referência:
"The Way of Huawei Data"