Autor: Zen e a arte da programação de computadores
Integração de dados refere-se à integração de múltiplas fontes de dados heterogêneas de acordo com regras para formar um data warehouse ou data mart unificado. Através da integração de dados, é possível obter mais informações, melhorar a eficiência da tomada de decisões e aumentar a competitividade empresarial. Com o desenvolvimento de tecnologias como a Internet e a computação em nuvem, cada vez mais aplicações de inteligência artificial envolvem a análise e o processamento de dados massivos. A integração de dados, como um dos elos importantes na análise e processamento de dados, também produzirá enormes mudanças no desenvolvimento futuro. Portanto, compreender e dominar os princípios e tecnologias de integração de dados desempenha um papel vital na direção do desenvolvimento futuro e nos métodos de integração de dados.
2. Explicação de conceitos e termos básicos
Termos e definições de integração de dados
A integração de dados inclui as seguintes palavras-chave:
- Data Warehouse/Mart: Data warehouse é um armazenamento centralizado e um resumo de coletas de dados de vários sistemas e é organizado e gerenciado de acordo com certas regras. O data warehouse possui fortes capacidades analíticas e pode apoiar efetivamente decisões de negócios;
- Business Intelligence (BI): Business intelligence, através da análise de dados históricos, prevê possíveis situações futuras e fornece às empresas uma base de tomada de decisão mais precisa;
- Data Lake: Data lake, um armazém que armazena dados massivos, usa tecnologia de big data para análise e mineração de dados e fornece serviços de dados para diferentes usuários de análise. O data lake precisa construir um sistema de armazenamento para extrair, limpar, converter e carregar dados não estruturados, semiestruturados e estruturados de diferentes fontes;
- Data Mart: Data Mart, que integra diferentes fontes de dados e as integra de acordo com certas regras, fornece serviços de informação a diferentes departamentos e facilita a comunicação entre diferentes funções. O data mart não precisa fazer nenhuma modificação nos dados originais, apenas agregar, filtrar e resumir os dados de acordo com as necessidades;
- Empreendimento