La mise en place d'un entrepôt de données est un processus pour résoudre l'application des problèmes de données d'entreprise, est une étape indispensable dans le développement de l'informatisation de l'entreprise à un certain stade et constitue également une base importante pour le développement de la gestion des données. Il existe de nombreux livres et articles sur le marché de la connaissance de Datacang, mais la mise en œuvre réelle dépend de différentes industries et les demandes fondamentales des entreprises sont différentes, de la technologie à la méthodologie.
Comment mettre en œuvre le projet d'entrepôt de données, cet article aborde d'abord l'entrepôt de données de l'industrie traditionnelle et parle de la méthodologie de mise en œuvre de l'entrepôt de données dans son ensemble!
Étapes générales de mise en œuvre de l'entrepôt de données
1. Analyse de la demande
L'analyse des besoins est la partie la plus importante d'un projet d'entrepôt de données. Après tout, les entrepôts de données servent et soutiennent toujours l'entreprise. Si l'analyse des besoins est inexacte, personne ne l'utilisera. Si elle n'est pas utilisée, elle affectera directement l'entreprise / le client. Utiliser, éventuellement conduire à l'échec du projet. Afin d'éviter le pire des cas, aiguiser le couteau et ne pas couper le bois de chauffage par erreur, nous devons prêter attention à la recherche, à l'excavation et à l'analyse de la demande au stade précoce, et adopter des mesures et des méthodes scientifiques rigoureuses pour analyser la demande.
Partagez plusieurs expériences dans le processus de recherche actuel:
1. Analyser les exigences avec le côté entreprise / côté client autant que possible, et guider l'autre partie pour clarifier le cadre général et les détails commerciaux à réaliser par le projet. La meilleure façon est que les exigences et les concepteurs discutent en fonction du prototype, afin de bien comprendre le réel Les besoins de l'entreprise.
2. Les objectifs que l'entrepôt de données peut atteindre et les problèmes qui ne sont pas faciles à résoudre doivent être clairs et négociés de manière réaliste. Il y a de nombreux fossés dans ce lien. Le côté informatique est impatient de se mettre en ligne, et le côté commercial est encore à demi-connaissance du projet, et peut même éviter l'importance du projet lorsqu'il est promu. Par exemple, les besoins non satisfaits de la première phase sont forcés d'être forcés. À long terme, le projet produira beaucoup d'excuses. Et les disputes, c'est la confiance de l'autre partie qui est consommée.
Par conséquent, sur la base de la discussion sur les exigences, vous devez comprendre le flux de travail de l'entreprise. Bien sûr, si vous avez déjà de riches connaissances commerciales dans ce secteur, vous pouvez demander à l'autre partie de compléter les fonctions du système d'entrepôt de données en fonction de ses propres idées autant que possible pendant la recherche des besoins. conception.
3. Classification des groupes côté demande. Les objets d'utilisation finale des projets BI peuvent être divisés dans les catégories suivantes: interrogateurs de données, interrogateurs de garde du corps et décideurs d'entreprise.
Les besoins et les caractéristiques de ces trois groupes de personnes sont complètement différents. Lorsque vous communiquez, vous devez distinguer et comprendre en profondeur
4. Quelle que soit la perfection de l'enquête sur la demande, les changements de la demande ne peuvent être évités. La réalité est que dans de nombreux cas, la demande est incertaine et les entreprises ne sont pas en mesure de présenter une demande valable. La demande est aujourd'hui lorsque A deviendra B demain et ne pourra être satisfaite en une seule étape. C'est normal. En tant qu'exécutant de projet, nous devons bien faire. Attentes psychologiques.
Dans des circonstances normales, ce que le côté commercial peut fournir est la partie cadre globale de la demande ou une partie de la demande réelle. Il ne peut pas prévoir la nécessité d'augmenter la demande à l'avenir. Cela a également destiné le projet d'entrepôt de données à être une boucle continue, un retour d'information et une amélioration continue du système. Le processus de croissance.
Les risques ne peuvent être évités, mais les risques peuvent être réduits, la recherche scientifique est donc particulièrement importante. Voici le modèle d'enquête: Lorsque l'enquête sur la demande est terminée, les résultats collectés doivent être analysés, résumés et triés pour former un rapport d'analyse de la demande complet.
Deuxièmement, l'analyse logique de l'entrepôt de données
L'entrepôt de données peut être divisé de manière logique en base de données opérationnelle, couche d'entrepôt de données, couche de magasin de données, couche d'application d'analyse de données et couche d'affichage de rapport. Sa structure est illustrée dans la figure suivante:
Trois, conception du système ODS
ODS peut avoir deux formes: le tampon de données ODS et la zone de visualisation des informations unifiées ODS.
① Tampon de données ODS
Le tampon de données ODS est la première zone de stockage dans le processus de flux de données d'entreprise, qui réalise le processus de l'entrepôt de données en extrayant les données des sources de données de chaque système d'entreprise et en les chargeant dans le tampon de données ODS, réalisant ainsi un global unifié La plate-forme de données d'entreprise de la société jette une base solide pour les processus ultérieurs d'extraction, de nettoyage et de conversion des données.
La source de données des données peut être extraite de manière incrémentielle, et les données qui sont fréquemment modifiées et mises à jour sont généralement extraites dans leur totalité. Le tampon de données ODS a des caractéristiques en temps réel Le système ODS intègre les données de production et d'exploitation de divers systèmes d'entreprise isolés pour former une plate-forme d'échange de données d'entreprise mondiale unifiée.
② Zone de visualisation des informations unifiées ODS
La zone d'affichage des informations unifiées ODS fait référence à l'intégration sélective de diverses données de source d'entreprise, aux opérations d'extraction, de nettoyage et de conversion des données, et au domaine de la personne concernée comme base de l'intégration, de la classification et de l'organisation des données, afin que les utilisateurs puissent transmettre des informations unifiées. La zone de visualisation obtient des données en temps réel liées à un certain domaine.
Chaque système d'entreprise et la zone d'affichage unifiée des informations ODS peuvent être accédés mutuellement, peuvent générer des rapports opérationnels en temps réel et interroger toutes les informations récentes sur un sujet.
③ Différences et points communs entre le tampon de données ODS et la zone de visualisation des informations unifiées ODS
Le tampon de données ODS fournit principalement une fonction de tampon de données intermédiaire pour extraire les données de source commerciale dans l'entrepôt de données, telles que
La plus grande différence dans la zone d'affichage des informations unifiées ODS concerne les règles de conversion pour l'extraction, le nettoyage, la conversion et le chargement des données, ainsi que les méthodes de stockage des données. La zone de visualisation des informations unifiées ODS permet de stocker complètement les données en fonction du thème, offrant aux utilisateurs les fonctions d'affichage rapide de rapports et d'interrogation de données en temps réel.
Les règles ETL du tampon de données ODS n'effectuent généralement qu'une simple synthèse, un calcul ou une extraction directe à partir d'une base de données opérationnelle sans aucune conversion au milieu. Les données de la zone de visualisation d'informations unifiées ODS sont généralement extraites du tampon de données ODS.
Quatre, modélisation de l'entrepôt de données
La modélisation de l'entrepôt de données a été présentée en détail ci-dessus. Le modèle de l'entrepôt de données est un ensemble de langage et de plate-forme permettant aux développeurs de technologies informatiques, au personnel commercial et aux gestionnaires de décision de communiquer entre eux.
Pour les ingénieurs en modélisation de données, une compréhension approfondie de l'entreprise est la tâche principale, car la modélisation de l'entrepôt de données est divisée en trois étapes: conception de modèle conceptuel, conception de modèle logique et conception de modèle physique. Les modèles sont généralement analysés dans un ordre descendant. Conception.
Cinq, modélisation de data mart
La construction du modèle général du data mart est basée sur les résultats obtenus à partir de l'analyse de la demande et la modélisation du data mart vise principalement la conception de tables de faits et de dimensions.
Six, analyse des sources de données
La soi-disant analyse de source de données est le processus d'analyse et de synthèse des données sources pour obtenir la portée, le format, la méthode de mise à jour, la fréquence de mise à jour et la qualité des données sources.
7. Acquisition et intégration des données
L'acquisition et l'intégration des données existent à toutes les étapes du projet d'entrepôt de données. Une fonction très importante de l'entrepôt de données est d'intégrer les données dispersées dans divers systèmes d'entreprise, de normaliser les données irrégulières et de les placer dans l'entrepôt de données de manière pratique pour l'analyse et l'application pour l'analyse des applications frontales.
Le processus ETL est en fait le processus de flux de données, c'est-à-dire de différentes sources de données vers une base de données cible unifiée. L'acquisition et l'intégration des données est le processus le plus compliqué pour terminer la construction de l'entrepôt de données, il est lié à la qualité des données et constitue le fondement de la construction du projet d'entrepôt de données.
8. Application de données et affichage du rapport
Le signalement est définitivement une chose douloureuse. Le format est complexe et les exigences changent. Si l'entreprise va bien, modifiez les exigences ou ajoutez-en quelques autres. Bien que cela semble très démodé lorsque l'on parle du rapport, c'est en effet la valeur de l'ensemble du projet d'entrepôt de données.
Les personnes qui font beaucoup de rapports créeront essentiellement leurs propres outils, ou du moins un moteur, pour définir les rapports dont ils ont besoin de manière structurée et dynamique en fonction de leur propre compréhension, et ils peuvent choisir les données dont ils ont besoin de manière flexible. , Concevez et affichez des styles pour générer des rapports.
De nos jours, les outils de création de rapports professionnels low-code sont généralement utilisés pour créer des rapports, tels que FineReport pour créer des rapports, améliorer l'efficacité du développement et se concentrer sur l'analyse des applications. Après tout, personne ne veut être constamment mêlé aux rapports.
En combinant le mécanisme de superposition de données mentionné précédemment, vous constaterez que quelle que soit la couche basée, il est nécessaire de générer des rapports. Personnellement, je pense que l’objectif du rapport n’est pas la préparation du rapport, mais la manière d’utiliser le rapport pour trouver de la valeur pour l’entreprise et le projet.
Les grandes entreprises auront du personnel chargé du projet pour l'analyse des rapports. Le travail s'est prolongé pour les rapports, l'analyse de la demande de rapports, la planification du système d'indicateurs et la classification des rapports pour la direction et le personnel de base, et la conception hiérarchique autour de l'entreprise .
Pour les employés de base, le rapport le plus couramment utilisé est d'enregistrer des données et d'interroger des données. Par exemple, les vendeurs dans les centres commerciaux parcourent les données pour vérifier les ventes de marchandises, afin de réapprovisionner les marchandises à temps, et saisissent les données de ventes quotidiennes chaque jour.
Pour certains employés de l'entreprise, le rapport n'est plus un simple affichage et une simple saisie, et certains besoins d'analyse seront dérivés, comme un responsable des achats, qui doit décider des marques de produits à acheter, du fournisseur auprès duquel acheter et comment planifier les produits du magasin. .
La méthode consiste à consulter le rapport pour voir quels produits sont bons à acheter, afin de déterminer s'il faut acheter des produits de marque supplémentaires, abandonner ces produits de marque ou s'engager dans des promotions. La rhétorique de Gao Da est d'utiliser les données pour optimiser la structure des produits et sélectionner les fournisseurs.
Pour la gestion d'entreprise, il s'agit plus de faire du suivi de tableaux de bord pour les indicateurs et l'analyse de la performance (heure, latitude régionale, etc.) . Et ce processus utilise également des données pour faciliter la prise de décision par la direction selon les méthodes de gestion standard (si les employés sont des jugements, les leaders sont des décideurs ...)
Suivez-moi, transférez l'article, répondez "rapport" dans un message privé et obtenez l'outil de rapport et le plan de construction de l'entrepôt de données.