aplicaciones de datos empresariales de grandes aplicaciones de datos tradicionales de contraste de inteligencia de negocio

En los últimos años, a medida que más y más aplicaciones de los sistemas de datos de gran tamaño, las soluciones de gestión digital de la empresa también capa de salida no hacer frente, desde el modelo tradicional de BI, las últimas soluciones de datos grandes, que al final lo que las similitudes y diferencias entre los distintos programas las relaciones al final es lo que? Cómo Optimizar las operaciones comerciales a través de la implementación de programas específicos, los costes de desarrollo, lo que sigue es mi análisis de inteligencia de negocio en línea y grandes datos recogidos por algunos. Creo que este artículo se proporcionan algunas ideas sobre cómo hacer sistemas de la empresa,

Modelo tradicional de inteligencia empresarial

Inteligencia de Negocios (también conocido como inteligencia empresarial, BUSINESSINTELLIGENCE, BI) concepto fue propuesto por primera vez por Gartner Group (Gartner Group) de Howard Dresner presentada en 1996. Se define como: "Inteligencia de Negocios describe una serie de conceptos y métodos a las decisiones de negocio de ayuda basados ​​en hechos sistema de apoyo a través de la aplicación."

Con el desarrollo de la inteligencia en el campo de los negocios, el concepto sigue siendo considerable. Como TomSoukup e Ian Davidson en "Visual Data Mining: Técnicas y Herramientas para la visualización de datos y Minería" en su libro: empresa marca "soluciones de Business Intelligence transformarán los datos empresariales en información clara, basada en el hecho de que se pueden ejecutar, y los clientes serán capaces de descubrir tendencias, crear lealtad de los clientes, y mejorar las relaciones con los proveedores, reducir el riesgo financiero, así como revelar nuevas oportunidades de venta ".

significado de Business Intelligence contiene los sistemas de información, análisis de datos y descubrimiento de conocimiento de una variedad de estrategias de contenido en todos los niveles de la empresa, la gestión de la cadena de suministro populares (SCM), gestión de relaciones con los clientes (CRM), planificación de recursos empresariales (ERP) son conceptos se puede considerar como parte de la inteligencia empresarial.

Una parte integral de los sistemas de inteligencia de negocio

En general se cree, DW, OLAP, DM es una parte integral de todos los sistemas de inteligencia de negocios están disponibles en:

almacenamiento de datos (DataWarehouse, DW) es una colección de datos valiosos a todo tipo de empresas. sistema de la empresa BI tomado de una variedad de plataformas y los procesos de limpieza y los datos útiles, entonces diezmada, transformar, proceso de carga (es decir ETL), los datos almacenados en el almacén de datos, para obtener una visión global de los datos empresariales. Dado que los datos en el almacén de datos es por lo general una variedad de datos detallados, la falta de agregación y relación jerárquica, y por lo tanto rara vez se utiliza directamente para el análisis y la toma de decisiones.

procesamiento analítico en línea (on-LineAnalytical Processing, OLAP) para el procesamiento de las necesidades de acceso y análisis de datos en línea. sistemas de BI necesitan proporcionar a los decisores de consulta de datos eficaz e intuitiva y visualización, más fácil de ayudar a los tomadores de decisiones, por lo que surge el concepto de OLAP, será original, difícil de usar los datos en puede ser entendido, la información multidimensional, y proporcionar taladro, rebanar, cortar en cubitos y otras operaciones de la información multidimensional a los datos de usuario se encuentran en las distintas dimensiones de las necesidades de investigación.

La minería de datos (DataMining, DM) se refiere a la tecnología para encontrar información oculta por un algoritmo de la masa de datos. Típicamente contienen de análisis asociados, análisis de conglomerados, análisis de anomalías. El valor de la minería de datos es que puede tomar ventaja de razonamiento inductivo datos de la empresa, y aprovechar el potencial del modelo para ayudar a los tomadores de decisiones tomar decisiones y ajustar la estrategia. sistema de minería de datos de BI también es diferente de la diferencia principal entre el sistema de información tradicional.

En las técnicas convencionales, los tres componentes principales del sistema de BI se pueden implementar utilizando una base de datos relacional (RDBMS), fabricante de muchas bases de datos relacionales, tales como Oracle, IBM, Microsoft, sino también proveedor de soluciones de inteligencia de negocio, la combinación de ambos visible cerca. En los últimos años, con el advenimiento de la era de los grandes datos, bases de datos no relacionales (NoSQL) ventaja empezando a mostrar. Muchas empresas de TI, especialmente en la industria de Internet, ha entrado en la edad de SQL y NoSQL, bases de datos no relacionales, tales como HBase para limpiar y procesar grandes cantidades de datos, bases de datos relacionales como Oracle para la demostración de consulta orientado al usuario y multi-dimensional. Nuestra plataforma de análisis de datos también utiliza la tecnología de este modelo. Pero no importa qué tipo de tecnología, inteligencia de negocios usando tres componentes principales corresponde a las siguientes tres funciones principales.

La función principal de los sistemas de inteligencia de negocio

funciones de gestión de datos: la adquisición de datos desde una pluralidad de fuentes de datos, procesamiento de datos en múltiples formatos, la capacidad de almacenar grandes cantidades de datos. Esta función auxiliar, el sistema incluye un número de módulo de gestión de metadatos BI, gestionarse los datos de descripción de datos. Con el levantamiento de la orden del día, el calibre de datos cada vez más complejos, el futuro próximo vamos a necesitar para mejorar las capacidades de gestión de datos y la gestión de metadatos es la mejor solución.

Análisis de los datos: El sistema incluye un convencional BI consulta oportuna, generación de informes, visualización de datos, análisis de datos. La era de los grandes datos de importancia es que los datos brecha se elimina gradualmente, no sólo las empresas toman las decisiones pueden ser datos operacionales más convenientes y flexibles, los usuarios normales exigen acceso a los datos, las necesidades empresariales de los usuarios en este sentido, lo que permite a los usuarios analizar su propia gestión poseer, aportar un enorme valor tanto para la ciudad. Sina microblogging de análisis de datos plug-ins, cubo de datos Taobao son todas las historias positivas de éxito. Por desgracia, todavía hay algunos negocios de antigüedades romper la tendencia, tratando de realzar las barreras de datos, lo que permite a los usuarios revisar su consumo no está claro, le piden al desconocido, que sólo se acelerará la pérdida de usuarios. Sugiero estas empresas para cambiar las viejas ideas tan pronto como sea posible, para crear un entorno de datos transparente y abierta, solamente aceptar el cambio, no sufrirán cambios.

descubrimiento de conocimiento: los datos implícita, potencialmente útiles y gente interesante y forman parte de la curación de abajo del conocimiento funcional. Extracto de conocimiento general se presenta conceptos, reglas, leyes, patrones y así sucesivamente. Creo que el descubrimiento de conocimiento, principalmente para resolver el problema de quién, dónde, qué, es decir quién es el cliente, donde los clientes, lo que los clientes quieren. En la gran entorno de datos, uno puede incluso encontrar algún modelo de ventas increíbles, como "cerveza y pañales" Wal-Mart un caso clásico. Para nuestra empresa, esta necesidad urgente capacidad para fortalecer. Líderes de la compañía que se hace referencia en varias ocasiones a "libros y los usuarios no entienden", es una señal clara de la falta de capacidades de descubrimiento de conocimiento.

revolución Big Data

1, utilizando una variedad de tipos de datos integrados de la toma de decisiones. Al por menor, por ejemplo, el modelo tradicional de las ventas en la línea, guardar los datos del sistema de información empresarial es por lo general sólo los datos del pedido, las empresas sólo se preocupan por el estado de los pedidos y estados financieros así generados. características personales del proceso de consulta del cliente, logística y así sucesivamente han sido descartados. El modelo de ventas en línea, la orden es sólo una pequeña parte de los datos, la empresa es más valioso, pero los de navegación del usuario, buscar, comparar, colecciones, investigación, logística, los datos de evaluación para estas industrias tradicionales abandonados, e incluso una gran cantidad de electricidad dolores página web otras web de acceso del usuario que se arrastran, ubicación, contactos y otros datos. Independientemente de si los datos fueron recogidos legalmente, al menos, las ventas en línea dará a los clientes más precisa y recomendó una experiencia más personalizada, podemos decir que los proveedores de electricidad han estado dependiendo de los datos de ventas de la vida de cuero línea.

2, ya no explorar causa y efecto, y para explorar la asociación. industrias tradicionales como la teoría causal de la gestión de guía, tales como "compra de baloncesto - zapatillas de baloncesto recomendados", "debido a la temporada baja - por lo que la promoción" y así sucesivamente. Programas similares han comprendido la necesidad de la propia industria, pero harán que el uso frecuente de los modelos de negocio se vuelven más similares. En la gran entorno de datos, tenemos que explorar es una asociación en lugar de la causalidad. Tales como "cerveza y pañales" La historia de Wal-Mart, es analistas de datos de Wal-Mart encontraron una fuerte correlación entre el programa de ventas dos propuestos. analista de datos sin la necesidad de explorar la razón más profunda es la esposa dejó su marido con los pañales, o el marido deja a su esposa con la cerveza, sino que simplemente no importa. En otro ejemplo, los datos de Google de modelado por los científicos de los términos de búsqueda para predecir qué áreas serán el brote de la gripe, por lo que el servicio de salud pública de Estados Unidos ha hecho enormes contribuciones. Estos datos científicos ni siquiera saben por qué el virus de la gripe era, pero esto no afectó a descubrir el gran valor de los datos asociados.

3, oro y datos anormales de los datos sucios. proceso de construcción del almacén de datos tradicional, los datos anormales, los datos sucios deben ser eliminados en el proceso de ETL, si no causará problemas de almacenamiento de datos y otras fallas. Sin embargo, en la gran entorno de datos, los datos anormales, pero pueden tener su valor. El autor en el trabajo anterior, encontró que todos los días 8:00 y las 20:00 tienen un gran número de clientes que acceden a la equivocada, estos registros son ETL limpiado. Otros estudios demostraron que éstos estaban llamando a las equivocadas uno lleva a la misma interfaz, y luego otro código servicio de verificación y encontraron cliente de Android, 08:00 todos los días va a enviar el diseño a realizar un seguimiento de los usuarios de clientes silencio y 20:00 cliente dos periodos al servidor mensaje de negociación, cuando la cantidad se incrementa para mantener el cliente, el servidor de mensaje de negociación tan abrumado, finalmente producir la equivocada. Después de que el código de cliente diseñado para ajustar la dispersión para realizar handshake días, lo que reduce la carga del servidor, evitando falsa presión de acuerdo con el "pico" de la expansión del servidor. Como otro ejemplo, una agencia de crédito de Estados Unidos encontraron que el 10% de los clientes "muertos" son todavía normales para pagar el préstamo, en lugar de mantener estas anomalías hacen cancelar la cuenta de procesamiento de datos, traerá beneficios adicionales.

Por supuesto, la gran revolución de datos provocó mucho más que los anteriores tres puntos, que trae tanto oportunidades como desafíos. Cómo las ideas y los datos de BI tradicionales grande se combinan para producir un nuevo punto de función es una pregunta que necesitamos con urgencia que pensar.

BI (Inteligencia de Negocios)

Business Intelligence (Inteligencia de Negocios, denominado: BI), también conocido como inteligencia de negocios o BI, se refiere al análisis y procesamiento de las técnicas con las últimas tecnologías de almacenamiento de datos, en línea, minería de datos y técnicas de presentación de datos para el análisis de datos para entregar valor de negocio.

Business Intelligence como una herramienta, se utiliza para manejar los datos existentes en la empresa y convertirla en conocimiento, análisis y conclusiones, auxiliares o de negocios que toman las decisiones a tomar las decisiones correctas e informadas. Es para ayudar a las empresas a hacer un mejor uso de los datos para mejorar la calidad de las técnicas de toma de decisiones, incluyendo los datos del almacén para los sistemas analíticos.

Inteligencia de Negocios

La inteligencia empresarial es generalmente entendida como datos empresariales existentes en conocimiento para ayudar a las empresas hacer herramienta de trabajo informado para la toma de decisiones. Aquí estamos hablando de datos, incluidas las órdenes, inventarios, cuentas de transacciones, clientes y proveedores y otras empresas en las que los datos de la industria y los competidores del sistema de negocio de la empresa y una variedad de otros datos del entorno externo en el que el negocio. La inteligencia de negocios puede ayudar a las decisiones de negocios, ya sea capa de operar, puede ser la capa de toma de decisiones tácticas y estratégicas. Con el fin de transformar los datos en conocimiento, se requiere el uso de almacenamiento de datos, procesamiento analítico en línea (OLAP) herramientas y técnicas de minería de datos. Por lo tanto, desde una perspectiva técnica, inteligencia de negocio no es una nueva tecnología, es sólo el uso integrado de almacenamiento de datos, OLAP y la tecnología de minería de datos.

Se cree que la inteligencia de negocio es recopilar datos sobre la empresa, proceso de gestión y el análisis tiene por objeto permitir todos los niveles de decisores de negocio para ganar conocimiento o comprensión (insight), lo que llevó a que la empresa decisiones más rentables. La inteligencia general de negocios, almacenamiento de datos, procesamiento analítico en línea, la minería de datos, backup y recuperación de datos y otras partes. aplicación de Business Intelligence relacionados con software, hardware, servicios de consultoría y aplicaciones, su arquitectura básica, incluyendo el almacenamiento de datos, procesamiento analítico en línea y minería de datos tres partes.

Por lo tanto, las soluciones de inteligencia de negocio debe ser visto como más apropiado. La clave es extraer inteligencia de negocio de datos de muchos sistema operativo diferente empresa en una datos limpios y útiles para asegurar la exactitud de los datos, a continuación, diezmadas (extracción), la conversión (transformación) y la carga (carga), es decir, proceso de ETL, se funden en un almacén de datos de la empresa para dar una visión global de los datos de la empresa, sobre esta base, utilizando las herramientas de consulta y análisis adecuados, herramientas de minería de datos (datos) espejo grande, herramientas OLAP sean análisis y procesamiento (esta información de soporte de decisiones en tiempo se convierte en conocimiento), y finalmente presentado a la gestión del conocimiento para apoyar a los gestores del proceso de toma de decisiones.

Proporcionar soluciones de inteligencia de negocio para las principales de compañías como Microsoft, IBM, Oracle, SAP, Informatica , Microstrategy, SAS, Royalsoft y así sucesivamente.

Principales herramientas de inteligencia de negocio incluyen Estilo Intelligence (BI Sida)
, software de inteligencia de negocio FineBI, BO, COGNOS, BRIO. Algunas herramientas de software nacionales como plataforma KCOM también integra herramientas esenciales de inteligencia de negocios.

OLTP (procesamiento de transacciones en línea)

On-Line procesamiento de transacciones de procesamiento de transacciones en línea (OLTP), también conocido como el procesamiento orientado a transacciones (o el procesamiento de transacciones en línea), que se caracteriza sustancialmente en los datos de usuario de recepción recibida puede ser transferido inmediatamente a un centro de cálculo para el procesamiento, y en un tiempo muy corto los resultados se dan en el tiempo de procesamiento, una operación del usuario es uno de los modos de respuesta rápido.

sistema de procesamiento de transacciones en línea es un tipo de metadatos transaccional como una unidad de procesamiento de datos, sistema de aplicación de ordenador de la interacción humana por ordenador. En el acto actualizaciones u otras operaciones sobre los datos, los datos dentro del sistema se mantiene siempre al día. Una secuencia de operaciones de un usuario puede establecer elemento de consistencia de datos designada como una transacción, un terminal, una transacción ordenador personal u otro dispositivo de entrada de miembros, el proceso vuelve al sistema después de un resultado, las entradas utilizadas en los aviones, la caja de banco, el comercio de acciones, supermercados ventas, gestión de hoteles antes y después. [1]
La mayor ventaja de esto es que los datos de entrada pueden ser procesados en tiempo real, la respuesta oportuna. También conocido como sistema de tiempo real (sistema de tiempo real). Una medida importante de resultado de procesamiento de transacciones en línea del rendimiento del sistema, configurado como una petición en tiempo real - tiempo de respuesta (tiempo de respuesta), es decir, después de los datos de entrada del usuario en el terminal, el tiempo necesario para responder a esta solicitud propuesta por el ordenador. OLTP es desde el frente, aplicaciones, bases de datos juntos para completar, dependiendo del grado de procesamiento de velocidad y motor de procesamiento de base de datos, servidor, motor de aplicación.
base de datos OLTP está destinado a hacer que la aplicación de transacción escribe solamente los datos necesarios con el fin de procesar una sola transacción tan pronto como sea posible.

Procesamiento de transacciones en línea

OLAP (procesamiento analítico en línea)

Procesamiento analítico en línea OLAP es una tecnología de software que permite a los analistas de forma rápida, la información de la observación constante, interactivo desde todos los aspectos, con el fin de lograr una comprensión en profundidad de los datos. Tiene FASMI (Fast Análisis de Compartido de Información Multidimensional), es decir, las características compartidas de análisis rápido de información multidimensional. En donde F es un rápido (Fast), significa que el sistema puede reaccionar a las necesidades del usuario más de análisis en segundos; A es analizable (el análisis), significa que el usuario puede definir un nuevo programa sin un cálculo especial, que es como un análisis parte, y se informa de la manera deseada por el usuario; M es multidimensional medios (multidimensional), y análisis para proporcionar una visión multidimensional de análisis de datos, la información de la I (información), significa el acceso oportuno a la información, y gestión de la información de gran capacidad.

La diferencia entre el sistema operativo y el sistema de almacenamiento de datos de base de datos

La tarea principal del sistema operativo, la base de datos es llevar a cabo transacciones en línea y procesamiento de consultas. Este sistema se llama sistemas de procesamiento de transacciones en línea (OLTP). Ellos cubren la mayor parte de las operaciones diarias de la unidad, tales como ir de compras, inventario, nómina, etc., también conocidos como sistemas de negocio. Por otro lado el sistema, almacenamiento de datos y análisis de datos en la toma de decisiones para proporcionar a los usuarios con los servicios, este sistema se denomina sistema de procesamiento analítico en línea (OLAP).

La diferencia principal entre OLTP y OLAP siguientes áreas.

Y sistemas orientados al usuario: OLTP es hacia el cliente, que se utiliza para los vendedores de transacción y procesamiento de consultas, los clientes y los profesionales de TI. OLAP es un análisis de los datos, para los trabajadores del conocimiento (incluyendo gerentes, ejecutivos y analistas) orientado hacia el mercado.
Contenido de los datos: los datos actuales de gestión de sistemas OLTP. Por lo general, estos datos es demasiado trivial, es difícil para la toma de decisiones. Los sistemas OLAP administrar grandes cantidades de datos históricos, proporcionan mecanismos de resumen y agregación, y almacena y gestiona información sobre los diferentes niveles de granularidad. Estas características hacen que sea más fácil para la selección de datos informados.
Ver: sistemas OLTP se centraron en los datos actuales o un negocio dentro del departamento, y no a los datos históricos o diferentes unidades de datos. Por el contrario, debido a la evolución de la unidad, OLAP sistemas a menudo a través de múltiples versiones del esquema de base de datos. Los sistemas OLAP también se ocupan de la información de diferentes unidades, así como la integración de información de múltiples bases de datos. Debido a la gran cantidad de datos, sistemas OLAP también suelen almacenar en varios medios de almacenamiento.
Modo de acceso: los sistemas OLTP consisten principalmente en transacciones atómicas cortos. sistema de un tipo requiere control de concurrencia y mecanismos de recuperación. Sin embargo, el acceso a los sistemas OLAP son en su mayoría las operaciones de sólo lectura (debido al gran almacén de datos departamental para almacenar datos históricos, en lugar de los datos más recientes), aunque muchas de estas operaciones pueden ser consultas complejas.
Otras diferencias incluyen OLTP y OLAP tamaño de la base de datos, métricas de rendimiento y la frecuencia de operación y similares.

¿Por qué necesitamos un almacén de datos independiente

Dado que la operación de la base de datos para almacenar grandes cantidades de datos, el lector puede preguntarse, por qué no para el procesamiento analítico en línea (OLAP) directamente en esta base de datos, pero el tiempo y recursos adicionales para la construcción de un almacén de datos por separado? . La razón principal es ayudar a mejorar el rendimiento de separación de los dos sistemas. Bases de datos y tareas operativas que se conoce como la carga de diseño, como el índice de clave primaria utilizan para recuperar registros específicos, una optimización de consultas personalizadas. Por otro lado, las consultas de almacenamiento de datos son a menudo complejas, involucrando a grandes cantidades de datos en el cálculo del nivel de resumen puede requerir organización especial basado en vistas multidimensionales de métodos de datos, acceso y aplicación. OLAP consulta las operaciones de procesamiento de la base de datos, puede reducir en gran medida el desempeño de las tareas operativas.

Como un ejemplo para describir la diferencia entre la correlación y OLTP y OLAP.

Podemos imaginar esta escena:
Zhang la disposición de un depósito de 2.000 dólares ATM,
Zhang primero de su tarjeta de crédito en el cajero automático, introduzca la contraseña y esperar a que la autenticación de contraseña,
seleccione la operación de salvar, traerá su propio dinero 2000 en las máquinas ATM, ATM billete de banco de verificación,
esta vez durante una vuelta a la espera de información de Zhang de la novia
de identificación se ha completado, confirmar el depósito
para depositar 2.000 dólares de transmisión de red especificada a la base de datos del banco, esta vez en Zhang espere las indicaciones de procesamiento automático,
después de la base de datos del banco central ha sido procesado, el procesamiento de los resultados devueltos a la máquina de la atmósfera de Sally, el depósito se incrementó a 5000 de la original 7000,
Zhang, tomar la tarjeta, este depósito las cosas.

Otro escenario:

Fin, la mirada de la batería en los distintos puntos de venta el uso de este mes de ATM, arreglos de liderazgo del banco para hacer esta pequeña cosa roja.
bancaria abierta roja sistema de cuentas, registro en su cuenta,
abrir los depósitos mensuales y retiros en el estado,
debido a que más datos, a menudo tienen que esperar media hora, rojo haga clic en "Exportar datos"
y luego se levantó para ir a comer,
posterior almuerzo en valoración ha sido calculada, la pequeña de procesamiento de datos, después de ver a los líderes,
los líderes ver una red de dinero en efectivo sacado por día tienden a ser tomadas después de la finalización, mientras que las salidas del área C siempre será una gran cantidad de descanso cada día basado en el liderazgo condición decidido incrementar área de entrega de efectivo ATM a, zona C para reducir la entrega de efectivo, el aumento del uso equilibrado de los fondos.

datos OLAP de la etapa OLTP, OLAP ayudar a las empresas a mejorar su capacidad operativa, personal técnico para optimizar el sistema por los datos OLAP.

La diferencia entre OLTP y OLAP en general, tienen la siguiente:

1. OLTP menudo requieren tiempos de respuesta más rápidos que OLAP
2. En relación con el rango de datos, OLAP, ya que está ayudando a los ejecutivos corporativos utilizan para tomar decisiones, que a menudo requieren un análisis exhaustivo de datos, y para los usuarios que están en una relación sólo su propia experiencia y de datos.
3. Diferentes paralelismo: Para OLTP en una transacción específica, también puede tener decenas de miles de personas ejecutadas, y, a menudo al mismo tiempo, una instancia de OLAP en la ejecución.
4. OLTP siempre hay un tiempo durante los cambios de datos personales, OLAP es una consulta y calcular los datos generales.

ETL

La ETL, Inglés abreviatura Extract-Transform-Load utiliza para describir los datos desde el terminal fuente a través de extracción (Extracto), la conversión (Transform), la carga (carga) para el proceso de destino. El término más comúnmente utilizado en ETL almacén de datos, pero el objeto no se limita al almacén de datos.

ETL es un sistema de servicio de datos después de la extracción, cargarlo en el almacén de datos después de la limpieza de la conversión, el objetivo es dispersar los datos de la empresa, desordenado, estándares de integración no están unificadas en conjunto, proporcionan una base analítica para la toma de decisiones corporativas, ETL es BI (Business Intelligence) proyectar aspecto importante.

MPP (procesamiento paralelo masivo)

En el campo de la investigación en la arquitectura del sistema de ordenador, el procesamiento paralelo masivo (MPP, masivamente paralelo Pmcessing) se refiere a un gran número de sistemas informáticos, con la configuración de un simple unidades de procesamiento (PE, ProcessingEIement), obtenidos trabajando en paralelo entre PE alto rendimiento del sistema. arquitectura MPP empleado, generalmente un gran número de nodos de PE, conexión de alto rendimiento entre una conmutación de PE red, cada PE tiene una memoria local, entre cada PE comunicar por el paso de mensajes. Un alto grado de paralelismo sistema PE MPP, reduciendo el sistema de almacenamiento compartido sobrecarga causada por, por la expansión del sistema a gran escala. Por otro lado. sistema de programación MPP es más complicada, principalmente en la asignación entre la partición y la tarea informática nodo PE.

La relación entre la BI y grandes volúmenes de datos

Tradicionales de BI tecnología Etiquetas: ETL, almacenamiento de datos, OLAP, informes visuales.

Técnica etiqueta de datos grandes: Hadoop, MPP, HDFS, MapReduce, procesamiento de flujo.

En el campo técnico, aunque algunas de las técnicas de BI tradicional ETL, almacenamiento de datos, OLAP, informe visual parece estar quedando por detrás del borde, ya que es difícil resolver el problema de enormes cantidades de datos en el futuro, pero no totalmente Puede cambiar signo o un sustituto en datos. Algunas empresas utilizan SAP HANA, FineBI de optimización directa motor grande de datos se basa en la solución del problema. El conjunto de BI persistirá, después de todo programa de BI empresarial sigue siendo muy popular, la divulgación y la aplicación de grandes volúmenes de datos es un proceso largo.

VS Big Data Business Intelligence

Big Data no es la boca palabras vacías, su primera prioridad es resolver los problemas de negocio, en cierta medida, los grandes datos es el uso de un nuevo medio de tecnología de datos para expandir y negocio a optimizar, las compañías tradicionales necesitan reunir un grupo de personas para estudiar este problema, necesitamos a alguien especial la investigación y la exploración. Por si fuera poco, creo que claramente nuevos modelos de negocio, si es interno, quieren saber en qué situación, utilice la técnica de grandes volúmenes de datos para mejorar la eficiencia.

Los grandes volúmenes de datos actuales pueden generar valor local, desde la perspectiva de la industria, financiero, bancario, Internet, médica, la investigación científica tiene amplias perspectivas. Desde la perspectiva del campo de visión, publicidad, comercialización, control de riesgos, la cadena de suministro son grandes volúmenes de datos juegan un lugar valioso para ciertas empresas, tales como los operadores de telecomunicaciones, datos de gran tamaño también se proporcionan nuevos métodos de optimización de la red.

No todos los negocios necesitan para construir su propia plataforma de grandes volúmenes de datos, las empresas deben tener en cuenta el nivel de información y el costo, hace lo que puede ser dueño de I + D, como BAT, la selección puede comprar, como el de las grandes empresas tradicionales; Las PYME también se puede alquilar, por ejemplo con la nube Ali y AWS.

En realidad se refiere, las aplicaciones de BI son mucho mayores que las grandes aplicaciones de datos, tiene su verdad universal. Grandes volúmenes de datos en comparación con el BI tradicional, no sólo una relación simple PLUS, que implica pensó, herramientas y personal profundos cambios, ya sea personal de BI no mencionan grandes volúmenes de datos, se burlan de que es nuevo envase chaleco, de hecho, es lo que sucedió; ni necesitan vender a nosotros mismos corto, que se dedican a grandes datos en él tan alto, de hecho es una herencia de la mayoría pensó BI.

Inteligencia de negocio y Big Data vinculante

La inteligencia empresarial como un sistema construido encima de un gran aplicaciones de datos.
plataforma de grandes volúmenes de datos para la recopilación de datos a través de varios de limpieza, convertidos en datos estructurados en el almacén de datos, sistemas de BI disponibles para su uso.
Mientras tanto, otros módulos de la plataforma de servicios de datos en grandes Spark, Flink otra plataforma de computación.

1, un análisis rápido. Frente a un número creciente de aumento de la cantidad de datos y ad hoc consultas analistas exigen, BI requiere funciones de análisis rápidos. Hay dos medios para apoyar esta función. Una dimensión de la redundancia, es decir, para hacer los diferentes niveles de datos de nivel de resumen estadístico, entre el paso a nivel permitido, tales datos pueden PV Resumen ciudades, de acuerdo con el tipo de usuario de la ciudad + resumen, de acuerdo con las líneas de servicio + + City Tipo de usuario Resumen de datos tridimensionales es redundante, es decir, se trata de un espacio técnico para el tiempo. La desventaja es la necesidad de añadir una dimensión para agregar una tabla, cuando la cantidad de datos Shihai hacer sub-bibliotecas, además de hardware. Segunda memoria Computing, algunos datos pueden ser consultados frecuentemente en la memoria, mientras que el sistema de archivos de memoria secundaria para añadir el modo de tormenta puede soportar incluso milisegundos segunda consulta. La desventaja es que esta técnica sólo puede soportar una pequeña cantidad de datos.

2, en capas calculado. Por la cantidad de datos y los requisitos de datos de latencia son diferentes, podemos calcular capacidades están organizados en tres capas, a fin de lograr diferentes técnicas. máximo en tiempo real, la cantidad mínima de datos se calcula utilizando la capa de flujo, como Storm (https://storm.incubator.apache.org/), que pueden desencadenar calculada en cada llegada de datos representativos de una técnica para tiempo real Resumen escalar tales como las ventas en tiempo real de los bienes. Superior en tiempo real, usando una cantidad moderada de capa de bloque de cálculo de datos, completado por Oracle convencional, Oracle en aplicaciones OLAP puede satisfacer la mayor parte del informe diario. El tiempo real más bajo, se calculó la cantidad máxima de datos de la caja mediante la capa de volumen, que representa la tecnología Hadoop, tales como el procesamiento de datos subyacente diaria, a largo plazo datos acumulados y similares.

3, servicio abierto. SaaS similares (Software as a Service), procesamiento de datos y paquete de análisis de datos para el servicio, lo que permite a los científicos de datos con alguna experiencia de llamadas directas. arquitectura orientada al servicio también ayuda a desacoplar la parte delantera y trasera, cuando la emisora ​​actual necesita nuevos indicadores o espectáculo, entre bastidores sólo para hacer algunos cambios en la interfaz, o completamente sin cambios.