Automatización de informes: abrir la puerta para almacenamiento de datos

Por encima del "Informe de automatización: Business Intelligence detrás del secreto" principalmente acerca de cómo hacerlo paso a paso pienso en la inteligencia de negocio, informes a través de la automatización, tablas de datos, visualización de datos, minería de datos de cuatro pasos camino a seguir, y poco a poco dejar que el valor de los datos generados .

Hablamos principalmente sobre el informe de la automatización, pero antes de eso tenemos que tener "una gran cantidad de datos" de apoyo, referido reiteradamente a "una gran cantidad de datos", que se refiere a los datos en una variedad de productos que utilizamos, durante la operación de guardar los datos en la base de datos, por supuesto, incluyendo registros de datos, los datos generados y también proporciona servicios para los productos que se ejecutan en el curso de la operación de nuestros productos, si los datos en la base de datos, sino que también se puede producir datos se almacenan en bases de datos diferentes, mesas, archivos, necesidad de contar con las funciones comerciales iniciales llevaron a cabo una "razonable" o que ya han pasado más de "escupir mala" forma de distribución.

Por lo tanto, debemos practicar primera automatización informe es hacer un servicio de conexión a la base de datos de todos los productos, y luego construimos entidad con todas las mesas estamos familiarizados con Java, PHP y otros lenguajes para terminarla? De hecho no es el caso, antes de esto, en primer lugar tiene que establecer un "almacén de datos".

diseño del almacén de datos

enfoque de diseño de almacenes de datos son muchas, aquí es principalmente acerca de un estilo de diseño DB-ODS-DW-DM en capas de diseño, donde la introducción de cuatro palabras, constituyen una corriente de datos compuesta por los siguientes

Las flechas indican el flujo de datos, podemos ver el flujo de datos es sustancialmente:

• En todo el mundo: Ya sea en la base de datos, registros, servicios de terceros, proveedores de datos, y así sucesivamente, los datos originales ya no es todo el mundo
• Sea tolerante con la diversidad: los datos de todo el mundo convergen en un punto, OBS llevan un paso crucial - colección
• racimos de clase puntos: después de todo, la acumulación caótica no es fácil de usar, no importa cómo abrir la puerta para ver la escena caótica primera ordenada, desglosada - acabado
• Especializada en la industria de la cirugía: un gran almacén que cubre demasiada información, aunque no hemos cotejado la capacidad de auto-digestión, antes de ir a la necesidad de encontrar a alguien especial tratamiento de la información correspondiente procesamiento - análisis
• Él: a través de una compleja colección, el cotejo, el análisis posterior, que finalmente tuvo algo vale la pena, puede iniciar la salida externa

DB (Base de Datos)

Aquí en realidad se refiere a la capa de datos de nuestros sistemas de producto / servicio, el concepto aquí es el uso de capas, que pueden consistir en múltiples bibliotecas, esta capa proporciona datos para apoyar el negocio en marcha, en caso de hacerlo almacén de datos, los datos DB capa también deberá proporcionar, mediante la extracción de datos a SAO apoyo cantidades de herramientas ETL en un momento determinado.

Se requiere una nota de que la copia de datos no está haciendo la copia a las herramientas de uso ETL (Extract-Transform-Load), ETL se refiere a la extracción de datos, transformación, carga, se puede configurar para que funcione datos sobre el comportamiento del origen al destino a través de la herramienta de ETL y el momento del disparo, esta tarde se ha introducido.

OBS (operativa del almacén de datos)

ODS (tiendas Operational Data), los datos operativos, a / capa intermedia capa de transición como una base de datos DB para el almacén de datos y DW.

De hecho, no la automatización informe de obtener datos directamente de la cartera, es la necesidad de construir un almacén de datos, almacenamiento de datos y el primer paso es la primera cartera de una variedad de datos todos tienen que copiar una "capa media la OBS "todo almacén de datos posterior a través de" la capa intermedia la OBS "datos de adquirir, dicha operación tiene las siguientes ventajas:

• Aislamiento: El sistemas comerciales y almacenes de datos aislamiento
• Redundancia: Se trata de los primeros datos redundantes, por supuesto, podría ser una copia de seguridad, a través de una gran base de datos que cubren todos los datos de la empresa
• Agregación: barreras comerciales ruptura directos, reunirá todos los datos juntos, pensando en el momento de los datos de seguimiento cardado favor, puede permitir a tocar todo tipo de imaginación
• Reducir la presión del sistema de negocios: Esta es la redundancia de otro objeto, ya sea un informe o minería de datos de automatización, son propensos a producir un gran número de operaciones en la base de datos, el análisis de datos y de negocio independiente, por lo que afectó tanto el rendimiento y operacionales bases de datos sólo la necesidad de proporcionar apoyo de una sola vez para leer

Esta capa es una capa unificada, su función principal es sincronizar toda la pluralidad de contenido biblioteca de código a esta biblioteca, herramienta ETL aquí cuatro datos de tracción, teniendo en cuenta el principio de responsabilidad única, esta capa no es la estructura de datos generales se va a cambiar a menudo y estructura de cada tabla de bibliotecas de código permanece constante.

Esta capa, ya que es el mismo para los datos de resumen, a continuación, los datos se escriben sólo herramienta ETL, esta vez se encontraron con el contenido de la base de datos fuente ha cambiado la forma de hacer? Cada copia de los datos para duplicar qué hacer?

• Si necesita guardar una copia de cada muestra, y luego considerar la adición de un campo de tiempo para cada tabla, para marcar el contenido de cada copia, los dos problemas descritos anteriormente se pueden resolver mediante la diferenciación de este campo.

   

• Si usted tiene recursos limitados, y los cambios no se preocupan por la historia, sólo el estado actual, entonces cada copia puede ser considerado dentro de la tabla OBS a la información de borrado antes de que el número de filas y tire

• Si usted tiene recursos limitados, y la cantidad de datos es muy grande, y desea una copia rápida, ahora se puede considerar la adición de algunas condiciones para obtener los datos de origen, los mismos datos se filtrarán a cabo, por ejemplo, si actualiza una vez al día, sólo es necesario para obtener el tiempo creado o el tiempo de actualización es hoy, y corresponden OBS continuación upsert a la mesa

DW (almacén de datos)

Hablando de almacén de datos de la capa de almacenamiento de datos. . . .

almacén de datos, almacén Podemos imaginar lo que se refiere a la realidad de la mirada del almacén de hoy, de hecho, el almacén de datos es similar.

Frente SAO aceptación incondicional de toda la información, tal vez lo único que puede hacer es ser razonable tabla es una tabla de datos para cada cartera identificados a partir de cual viene el nombre, sólo un espacio muy grande de caos, y el almacén principal do es "regular".

Modelado de almacenamiento de datos ( "terminar") tiene una variedad de métodos, paradigmas de modelado Ley (tercera forma normal, 3NF), método de modelado tridimensional (modelado tridimensional), método de modelado de sólidos (Entidad de Modelado) ......

El objetivo final es organizar una variedad de maneras:

• Legibilidad: algo caótica nunca se sabe lo que son, podemos comprender claramente la relación entre ellos después de terminar. método de modelado dimensional sería construido tales tablas de hechos y dimensiones, cada tabla es un servicio de datos principal hecho registrado, que comprende una pluralidad de dimensiones y tablas de hechos interior ID, puede obtenerse por una dimensión más detallada tabla ID información, tales como series de tiempo de las fechas, fecha, día de la semana, otro ejemplo de las series tipo nombre del tipo chino, descripciones detalladas y así sucesivamente. Proporciona detalles de las circunstancias específicas de modelado tridimensional.
• Categoría claro: ni concierto a través de la capa de OBS después de frotar todos los datos en conjunto, a la capa de DW tenemos una nueva oportunidad de ser la relación entre el enlace de datos, constituyen una valiosa un campo de datos, por supuesto, dividiéndolo sólo puede ser distinguido por el nombre de la tabla, no puede ser sub-bibliotecas.
• Romper las barreras de negocio: la clasificación aquí es principalmente desde el punto de vista de los datos que pueden romper las barreras existentes para los negocios.
• De alta calidad: el tiempo de actualización de datos, será útil para retener, completamente ineficaz han abandonado los campos se pueden tirar. Al mismo tiempo, también estamos en una alta calidad de los almacenes de datos de construcción para asegurar que podemos eliminar el campo completamente inútil en esta etapa, pero lo más importante es la información validada se detalla es correcta y completa.
• Alta eficiencia: Después de una clasificación clara, re-clasificación basada en la relación entre la cartera de datos y tratamiento riguroso de cada pieza de datos, tenemos una alta calidad, legible, clara clasificación de almacenamiento de datos, por lo que podemos con mayor rapidez encontrarnos Quiero algo

Tenga en cuenta que el almacén de datos es sólo tiendas de almacén de todo tipo de cosas, es muy limpio, pero no por completo a desenterrar el valor de su existencia dentro de las necesidades de minería de datos para intensificar la siguiente capa.

DM (Data Mart)

mercados de datos (Data Mart), también conocidos como datos de mercado, mercado de datos es para satisfacer las necesidades específicas del departamento o usuario, almacenada de acuerdo con una forma multidimensional, incluyendo las dimensiones de encargo, las métricas deben ser calculados, las dimensiones jerárquicas, etc., para generar orienta la toma de análisis de las necesidades de datos del cubo.

En primer lugar explicar la figura anterior en por qué tantos de la base de datos DM: DM en realidad se puede dividir según el sector empresarial, los diferentes departamentos / servicios / productos, puede por su propia base de datos propia.

En segundo lugar, se habla de lo que había en:

DM Curry a menudo se instala en algunos de los contenidos de salida externa directa, como puede durar proporcionar rápidamente el servicio de consulta de datos para el informe, sino también una variedad de indicadores tales.

¿Qué es un indicador? Una descripción más detallada sobre la tasa de crecimiento del año, las ventas totales mensuales, las tasas de conversión, el margen de beneficio medio, el número total de visitas al día ...... detrás de concreto

De hecho, el almacén de datos no es simplemente capas, tales como la figura I "probablemente", describe ( "imaginaria") un modelo más complejo de un almacén de datos.

la estratificación, nada menos que la esperanza de sus funciones, de reunión, comparación, análisis, nuestra entrada se detuvo la información de cada fuente de datos, después de tragar la OBS, DW modelado de inducción, la capa final de nuestra DM extranjera directa proporcionar datos más valiosos.

En este artículo se describe un diseño jerárquico simple de un almacén de datos, se hace referencia principalmente a la capa OBS, DW capa, capa de DM, también en este caso, dijo que el concepto detrás empezó a tirar los detalles. Por ejemplo, vamos a hablar de las dimensiones detrás de la capa de DW método de modelado modelado.

 

| Derechos de autor: los artículos del sitio utilizando  CC 4.0 acuerdo BY-SA  a licencia, reproduce, por favor adjuntar el enlace de la fuente original y esta declaración.
| Este enlace:  Cologic Blog  -  Informe de automatización, se abre la puerta para almacenamiento de datos  -  https://www.coologic.cn/2020/02/1756/