Auteur : Zen et l'art de la programmation informatique
1. Introduction
1.1 Introduction au contexte du projet
Meituan-Dianping Data Center est une équipe indépendante du département technologique de Meituan, responsable du développement des données, de la construction de plates-formes de données, de la construction d'entrepôts de données, du support des applications de données, etc. En tant que société de services de plateforme de données de niveau opérateur, en créant une plateforme d'outils d'analyse Big Data pour les analystes et les data scientists, un système de produits complet et un mécanisme de gouvernance des données, combinés à la création de valeur des données, elle améliore l'efficacité de la prise de décision commerciale. et aide Meituan et les institutions concernées à obtenir des rendements plus élevés.
Avec l'expansion continue des activités de l'entreprise, la croissance du nombre d'utilisateurs et l'émergence de nouveaux scénarios Internet, une grande quantité de traitement, d'analyse et de stockage de données est nécessaire, tout en garantissant l'exactitude, l'intégrité et la fiabilité des données. Par conséquent, cet article procédera à une analyse complète et à une introduction à Airflow, le système d'entrepôt de données du centre de données de Meituan-Dianping.
1.2 Concepts et caractéristiques de l'entrepôt de données
1.2.1 Présentation de l'entrepôt de données
L'entrepôt de données fait généralement référence à une collection de données utilisée dans une entreprise pour intégrer et résumer les données provenant de plusieurs systèmes sources. Il s'agit d'un référentiel hautement organisé conçu pour prendre en charge un large éventail de tâches complexes de requêtes, de reporting et d'analyse. Ses fonctions comprennent principalement les aspects suivants :
- Diviser les données par sujet : les données sont divisées en différents tableaux selon les sujets. Chaque tableau contient des données liées à un sujet spécifique, qui peuvent être facilement gérées et utilisées ;
- Fournit un ensemble de données central : toutes les données sources sont nettoyées, organisées et stockées dans l'entrepôt de données pour former un ensemble de données central ;
- Modèle de données unifié : l'entrepôt de données dispose d'un schéma de base de données unifié, permettant aux analystes d'accéder aux données provenant de différentes sources de la même manière ;
- Faciliter le reporting et l'analyse : les données de l'entrepôt de données peuvent être utilisées pour créer divers rapports et tableaux de bord, ce qui rend simple et facile l'obtention, la présentation et l'analyse de toutes sortes d'informations ;
- Prise en charge de l'analyse des données historiques : entrepôt de données