Auteur : Zen et l'art de la programmation informatique
1. Introduction
En tant qu'infrastructure importante pour les données d'entreprise, la plate-forme de données fournit des services de données et des capacités d'analyse qui sont devenues la clé permettant à tous les départements de l'entreprise de travailler ensemble, de communiquer efficacement et d'améliorer l'efficacité du travail. Cependant, en raison de l'influence de divers facteurs tels que les différences dans les besoins des différents secteurs, les différentes tailles et complexités des données, la création d'un système de haute qualité, à faible latence, facile à étendre, fiable, sécurisé et facile à utiliser. -l'utilisation de la plate-forme de données est également confrontée à d'énormes défis. Ces dernières années, avec la popularisation du cloud computing, de la technologie des conteneurs et de l'architecture des microservices, la nécessité de créer une plateforme de données basée sur des solutions open source a attiré de plus en plus l'attention de la société. et plus bas, et la concurrence sur le marché devient de plus en plus féroce. Cet article amènera les lecteurs de 0 à 1 à expérimenter quelques points clés du processus de construction de la plateforme de données open source, notamment la sélection de chaque composant de la plateforme de données open source, la collecte des données, le stockage, le traitement, l'analyse, la visualisation, la surveillance. , sécurité, gestion et autres liens. En partageant les pièges et les leçons sur lesquelles l'auteur a marché dans la pratique, j'espère aider davantage de personnes à démarrer rapidement et à maîtriser les compétences nécessaires à la création d'une plate-forme de données open source.
2. Cadre de plateforme de données open source
Commençons par trier les principaux composants impliqués dans la création d’une plate-forme de données open source. Voici les principaux composants de la plateforme de données :
(1) Module de collecte de données : responsable de la collecte des données brutes, telles que les journaux de base de données, le trafic réseau, les journaux de serveur, les interfaces tierces, etc. ; (2) Module de transmission de données
: responsable du transfert des données collectées par transmission vers les modules suivants de diverses manières ;
(3) Module de stockage de données : responsable du stockage persistant des données pour une analyse et une requête ultérieures ; (
4) Module de nettoyage et de conversion des données : responsable du nettoyage et de la conversion des données originales pour le rendre conforme aux modules suivants
(5) Module de calcul des données : responsable du calcul des données ci-dessus, y compris l'agrégation des données, les statistiques, le tri, etc. ;
Module d'affichage du rapport de données :