Hola a todos, soy Dugufeng, el autor de Big Data Flow.
Varios conceptos han aparecido con frecuencia en el campo de visión de todos recientemente.
¿Qué es la gestión de datos, el gobierno de datos, el centro de datos, la plataforma intermedia de datos y el lago de datos?
¿Cuál es la diferencia y la conexión entre ellos?
Estos conceptos suelen ser confusos, y hoy los analizaremos en detalle.
1. Gestión de datos
La gestión de datos se refiere a la planificación, ejecución y control de todo el ciclo de vida de los datos de una organización para maximizar el valor de los datos. Cubre todo el proceso desde la adquisición de datos, el almacenamiento, el procesamiento hasta el uso final.
Una buena gestión de datos requiere una planificación estratégica integral, incluida la determinación de las necesidades de datos de la organización, el diseño de la arquitectura de datos, la clarificación de los métodos de recopilación de datos y el establecimiento de medidas de supervisión y seguridad de datos. Al mismo tiempo, se necesitan planes de ejecución específicos, como la construcción del sistema de adquisición de datos, la selección del medio de almacenamiento, la configuración del flujo de procesamiento de datos y el desarrollo de la plataforma de aplicación y análisis de datos.
En el proceso de gestión de datos, debemos centrarnos en la gestión de la calidad de los datos. Es necesario monitorear y mejorar la integridad, consistencia, precisión, puntualidad y otros indicadores de los datos para garantizar que la calidad de los datos satisfaga las necesidades comerciales. Además, es necesario gestionar los servicios de datos, la seguridad de los datos, el ciclo de vida de los datos, los metadatos, etc., y establecer un soporte técnico sólido.
La gestión de datos exitosa también requiere la cooperación de las organizaciones de gestión, como la creación de un departamento de gestión de datos o la creación de puestos de gestión de datos en los departamentos de TI y de negocios, y la clarificación de la división de responsabilidades para la gestión de datos. Es necesario formar una estructura de gobierno de datos eficiente y llevar a cabo un trabajo continuo de gobierno de datos.
La gestión de datos debe estar estrechamente integrada con los objetivos comerciales de la empresa para servir al desarrollo comercial. Necesita maximizar el valor de los datos al mismo tiempo que reduce el costo de la gestión de datos organizacionales y proporciona una base sólida para las operaciones empresariales y la toma de decisiones. Una organización madura debe establecer un sistema de gestión de datos científico, sistemático y continuo para mejorar su competitividad central.
En otras palabras, la gestión de datos es un proyecto sistemático que requiere planificación y construcción en términos de estrategia, organización, proceso y tecnología para gestionar y controlar todo el ciclo de vida de los datos. Solo de esta manera se puede utilizar realmente el papel de apoyo de los datos para las empresas y crear un mayor valor comercial.
En la lengua vernácula, la gestión de datos es el trabajo real relacionado con la gestión de datos, cosas específicas.
2. Gobierno de datos
El gobierno de datos es una parte importante de la gestión de datos de una organización, que proporciona las capacidades de toma de decisiones, supervisión y control necesarias para la gestión de datos. El objetivo del gobierno de datos es formular especificaciones de uso de datos, optimizar los sistemas de datos y garantizar la disponibilidad, consistencia, calidad y seguridad de los datos.
El primer paso para establecer el gobierno de datos es establecer una estructura organizativa de gobierno de datos. Esto generalmente incluye el establecimiento de un comité de gobierno de datos, compuesto por ejecutivos y jefes de negocios, TI y otros departamentos, responsable de establecer políticas y estándares de datos. Al mismo tiempo, se deben establecer roles de gobierno de datos, como propietarios y administradores de datos, con una clara división del trabajo.
Las tareas principales del gobierno de datos incluyen la formulación de estrategias y marcos de gobierno de datos, el registro de activos de datos, el establecimiento de catálogos de datos y mapas de datos para comprender completamente los activos de datos empresariales. También es necesario monitorear y evaluar continuamente los datos, medir la calidad de los datos y llevar a cabo la evaluación y el procesamiento de riesgos. Establecer especificaciones claras de uso de datos y responsabilidades es el enfoque de la gobernanza de datos.
Además, la gobernanza de datos también necesita establecer un sistema técnico de apoyo, como un sistema de gestión de metadatos, una plataforma de gestión de calidad de datos, etc. Es necesario fortalecer la gobernanza de las plataformas de inteligencia empresarial y big data para garantizar la confiabilidad de los datos de las aplicaciones analíticas. También es necesario centrarse en los controles y la auditoría de la seguridad de los datos.
El gobierno de datos requiere la atención de la gerencia y la participación activa de los departamentos comerciales. Es necesario crear una atmósfera de atención a la gestión de datos y adherirse a los estándares de datos desde la perspectiva de la cultura corporativa. Al mismo tiempo, optimice e itere continuamente el proceso de gobierno de datos para que sea coherente con las necesidades comerciales. Solo al continuar promoviendo de esta manera, los datos pueden convertirse realmente en un importante activo estratégico de la empresa.
El gobierno de datos es una medida sistemática para administrar, controlar y gobernar los datos organizacionales. Debe establecer un mecanismo integral en términos de organización, proceso, tecnología, etc. para implementar una administración de datos efectiva y liberar valor de los datos.
El gobierno de datos es un mecanismo, hay un dicho que es muy apropiado, la gestión de datos la implementa el CEO, mientras que el gobierno de datos es la junta directiva, que necesita ser supervisada.
El gobierno de datos se trata de asegurarse de que los datos estén gobernados.
Por supuesto, debido a la importancia del gobierno de datos, la palabra ahora se amplía.El gobierno de datos en un sentido amplio incluye todo lo relacionado con el gobierno de datos y la gestión de datos.
3. Centro de datos
El centro de datos es la infraestructura física utilizada por las empresas para almacenar y gestionar datos. Incluye infraestructura de TI, como servidores, dispositivos de almacenamiento y dispositivos de red, y proporciona soporte de hardware para la gestión de datos. La función principal del centro de datos es centralizar el almacenamiento y la gestión unificada de los datos empresariales.
La construcción de un centro de datos requiere la preparación del espacio de la sala de computadoras, que tiene requisitos estrictos de temperatura, humedad, antiestático, prevención de incendios, etc. Al mismo tiempo, es necesario invertir en el establecimiento de instalaciones básicas de operación y mantenimiento, como energía y refrigeración. En términos de servidores, se necesita una gran cantidad de servidores en la nube y tecnologías de virtualización para asignar los recursos informáticos de manera flexible. El sistema de almacenamiento debe tener una capacidad lo suficientemente grande y considerar copias de seguridad redundantes. El sistema de red debe proporcionar conexiones de conmutación internas de alta velocidad y ancho de banda de enlace externo.
El centro de datos también necesita un sistema de monitoreo para monitorear la infraestructura en tiempo real y establecer un sistema completo de protección de seguridad, como control de acceso, firewall, detección de intrusos, etc. Desarrollar un plan detallado de recuperación ante desastres y un mecanismo de simulacro. Además, es necesario configurar un equipo profesional de operación y mantenimiento para la gestión diaria.
Una vez finalizado, el centro de datos llevará el sistema de transacciones, el sistema ERP, el sistema CRM, el almacén de datos y otros sistemas de información empresarial clave para el almacenamiento centralizado de datos. Al mismo tiempo, se deben agregar datos masivos de canales como sitios web, aplicaciones e IoT. La optimización de recursos se lleva a cabo a través de tecnologías como la virtualización y el almacenamiento en la nube para realizar una gestión centralizada de los datos.
Un centro de datos de alta calidad también proporciona servicios de copia de seguridad y servicios de recuperación ante desastres. Proporcionar recursos de TI, como espacio de almacenamiento y servicios informáticos para clientes internos de la empresa. Mejore la eficiencia de la gestión a través de la operación y el mantenimiento automatizados.
El centro de datos es una piedra angular importante de la gestión de datos empresariales. Necesita una planificación y construcción integrales en términos de infraestructura, sistema de seguridad, proceso de operación y mantenimiento, etc. para proporcionar servicios de gestión y almacenamiento de datos estables, seguros y eficientes y ganar la confianza de los clientes.
4. Centro de datos
El centro de datos es un conjunto de plataformas construidas sobre el centro de datos, que incluye administración, análisis y servicios de datos. Con los datos como núcleo, el centro de datos se compromete a crear capacidades de datos unificadas y estandarizadas y a proporcionar a las empresas aplicaciones de datos de mayor valor.
El primer paso para construir un centro de datos es planificar una arquitectura de datos empresariales unificada, planificar todo tipo de datos discretos en la empresa y determinar el almacén de datos central y el mercado de conjuntos de datos. Luego, de acuerdo con diferentes escenarios comerciales, se construyen un modelo de integración de datos y un modelo de servicio de datos estandarizados. Permita que los datos de diferentes sistemas se comuniquen entre sí.
En términos de gobierno de datos, el centro de datos integra datos de diferentes sistemas en una plataforma unificada, establece estándares de datos, sistemas de evaluación de datos y sistemas de seguridad de datos, y administra datos internos de manera centralizada. Asegúrese de que la calidad de los datos sea controlable y que las aplicaciones de datos sean creíbles.
El centro de datos también tiene capacidades de análisis y aplicación de datos de nivel empresarial. Puede recopilar, limpiar y convertir datos internos y externos, crear conjuntos de datos de análisis de alta calidad y ayudar a las empresas a tomar decisiones comerciales y optimizar a través de informes, modelos de análisis y visualización de datos. Utilice IA y otras tecnologías avanzadas para el análisis inteligente.
Además, el centro de datos también abre interfaces de servicio a diferentes departamentos y sistemas externos para realizar el servicio de datos. Puede proporcionar servicios de datos como retratos de clientes precisos internamente y productos de datos abiertos al mundo exterior. Cree un ecosistema centrado en los datos.
La construcción de un centro de datos requiere que las empresas actualicen su arquitectura técnica y adopten tecnologías emergentes como big data y computación en la nube. También es necesario planificar la organización del centro de datos, asignar modelos de datos especializados, análisis y otros talentos, y formular políticas para la apertura y utilización de datos.
La plataforma intermedia de datos crea una plataforma central para la gestión y aplicación de datos empresariales, lo que ayuda a liberar el valor de los datos y promover la innovación empresarial. Es una base importante para la transformación digital y la clave para mejorar la competitividad central de las empresas.
5. Lago de datos
El lago de datos se refiere al concepto arquitectónico en el que las empresas almacenan todo tipo de datos sin procesar directamente en un grupo de datos en forma de lago. Puede almacenar y administrar grandes volúmenes de datos estructurados, semiestructurados y no estructurados en diferentes formatos.
El lago de datos hace hincapié en el almacenamiento directo de muestras de datos o datos sin procesar, en lugar de transformarlos o dividirlos. Utiliza un directorio de datos compartido plano para que cada usuario encuentre los datos que necesita. Los usuarios pueden analizar y explorar datos de forma interactiva para descubrir correlaciones entre diferentes fuentes de datos.
El primer paso para crear un lago de datos es establecer un almacenamiento de datos básico centralizado, como el sistema Hadoop. Luego, varias fuentes de datos de la empresa, incluidas bases de datos, sensores, registros, documentos, etc., se cargan directamente en este almacenamiento abierto sin limpieza ni conversión previa de datos. A continuación, cree el catálogo de datos y marque los metadatos de características de diferentes datos. Finalmente, se proporcionan herramientas de análisis para facilitar que los usuarios analicen y consulten datos por sí mismos.
A diferencia de los almacenes de datos tradicionales que almacenan solo datos refinados, los lagos de datos almacenan datos detallados sin procesar directamente. No tiene restricciones estrictas en la entrada de datos y se puede expandir de manera flexible para admitir aplicaciones de análisis más ricas al incluir más datos. Sin embargo, la precisión y el refinamiento de los datos en el lago de datos no son tan buenos como los del almacén de datos, y los usuarios deben convertirlos ellos mismos. Es más adecuado para que los científicos de datos exploren y analicen.
Al construir un lago de datos, el principal desafío es cómo administrar todo tipo de datos desordenados.Es necesario administrar metadatos como fuentes de datos, formatos, atributos y establecer controles de seguridad. También existe una necesidad constante de agregar herramientas de análisis y visualización para que sean más fáciles de usar.
El lago de datos proporciona un entorno para que las empresas almacenen y analicen directamente todos los datos y puedan explorar más a fondo el valor de los datos. Reduce el umbral de la integración de datos, pero también necesita abordar activamente los desafíos del gobierno de datos. El lago de datos representa la tendencia de desarrollo de la gestión de datos empresariales hacia la apertura y la descentralización.
Para obtener más información sobre big data, gobierno de datos e inteligencia artificial, preste atención al flujo de big data. Soy Dugufeng, nos vemos en el próximo artículo~
Cuenta de video móvil de big data, que se enfoca en el intercambio de conocimientos relacionados con big data, gobierno de datos e inteligencia artificial en video ciencia. Bienvenidos a todos a prestar atención ~