Cuando se utiliza la colmena, es fácil entrar en contacto con el modelado del almacén de datos. El modelado del almacén de datos es una habilidad necesaria requerida por el ingeniero del almacén de datos. El excelente diseño en capas puede hacer que todo el sistema de datos sea más fácil de entender y usar. Si desea contar, debe completar el número de capas para conocer el significado de las capas.
La estratificación es muy importante, habla sobre mi comprensión.
1. Fundación en capas
1. Ordenar datos comerciales
Con la expansión continua del volumen de datos y las tablas de datos comerciales, necesitamos clasificar el alcance de los datos, para que podamos encontrar claramente la fuente de datos.
2. Evite contar dos veces
Para evitar cálculos múltiples, varias tablas se asocian varias veces. Las capas pueden ahorrar resultados intermedios y reducir los costos de desarrollo. Evite calcular a partir de la tabla original para cada consulta.
3. Aumentar la conveniencia del uso de datos.
El diseño de la capa de almacén permite analizar los datos, y el análisis es bueno, lo que puede soportar la mayoría de las necesidades de datos. Cada requisito puede encontrar los datos que necesita de la capa.
4. Evitar la divergencia de datos
Calibre de datos unificados, garantice la calidad de los datos y evite varios conceptos de indicadores unificados.
5. Capas generales
Las capas de modelado dimensional más generales y simples se dividen en tres capas:
(La imagen proviene de la red, invade y elimina)
2. Capa ODS, capa de datos de operación
Almacene los datos del sistema operativo en el almacén de datos casi sin procesamiento, y principalmente tenga las siguientes tareas:
1. Sincronizar la cantidad incremental o total de datos estructurados del negocio
2. Estructurar y procesar datos no estructurados como registros y aterrizarlos. Vaya al almacén de datos:
3. Acumule los datos históricos, guarde los datos históricos y limpie los datos de acuerdo con las necesidades del negocio de datos, auditoría y otros requisitos, y la instantánea de datos retenidos también es conveniente para problemas de retroceso.
2. Capa MDL, capa modelo de dimensión pública
Almacene datos de hechos detallados, datos dimensionales y datos de resumen de índice público, unifique el calibre, mantenga la consistencia de los datos, reduzca el cálculo doble de datos, la capa CDM se divide en la capa DWD y la capa DWS.
1.DWD capa, capa de datos de detalle
La capa dwd limpia y normaliza los datos comerciales, como eliminar datos de trampa, nombrar campos de datos para evitar ambigüedades, etc. Además, los métodos de degradación de dimensiones se pueden utilizar para degradar dimensiones en tablas de hechos y reducir la asociación entre tablas de hechos y tablas de dimensiones Para mejorar la facilidad de uso del horario.
2.DWS capa, capa de resumen de datos
La capa dws fortalece la degradación dimensional de los indicadores, utiliza representaciones más amplias para construir una capa de datos de indicadores públicos, mejora la reutilización de los indicadores públicos y reduce el procesamiento repetitivo.
3. capa ADS, capa de datos de la aplicación
La capa de anuncios almacena datos para el cálculo del índice personalizado. La falta de similitud y complejidad (tipo de índice, tipo de relación, tipo de clasificación), etc., se ensamblarán en función de los datos de la aplicación, como ferias de mesas grandes y anchas, tablas horizontales a verticales y cadenas de indicadores de tendencia. Además, como algunos indicadores de ADS tienen características personalizadas, trate de no proporcionar servicios externos.
Hay algo mal, lo escribiré más tarde.
