El gobierno de datos es una parte esencial de la construcción de datos empresariales.
Un buen sistema de gobierno de datos puede revitalizar todo el enlace de datos y maximizar la protección de los datos empresariales.
recopilación
、
almacenamiento
、
calcular
y
usar
Proceso controlable y trazable.
¿Cómo construir un sistema de gobierno de datos empresariales? ¿A qué cuestiones se debe prestar atención en el proceso de gobierno de datos empresariales? En términos generales, no se puede comer un hombre gordo a la vez, y el camino debe recorrerse paso a paso.
A continuación voy a combinar
Gobierno de datos empresariales
experiencia, detalle
de 0 a 1
Cree todo el proceso del sistema de gobierno de datos para ayudarlo a clasificar el contenido principal del gobierno de datos y las dificultades que encontrará en el proceso.
Si falta algo, deje un mensaje en el área de comentarios para discutirlo.
1 ¿Qué está haciendo exactamente el gobierno de datos?
1.1 Una historia corta
Antes del texto principal, permítanme presentar una historia corta.
Al final del año, Xiao Zhang, el administrador financiero de la empresa, necesita realizar estadísticas sobre la situación financiera de la empresa. Después de un año ajetreado, el jefe de la empresa necesita con urgencia conocer el estado operativo actual de la empresa.
¿Qué puntos debe tener en cuenta Xiao Zhang?
“
- ¿Qué activos posee actualmente la empresa?
- ¿De dónde vienen estas propiedades? ¿Dónde se usan?
- ¿Se utilizan todas las propiedades de acuerdo con los códigos y reglamentos?
”
Afortunadamente, Xiao Zhang había establecido un conjunto de estándares de gestión a principios de año. La entrada y salida de cada propiedad se registra y el uso se controla estrictamente, y el proceso se puede rastrear y revisar.
Al final, Xiao Zhang ganó elogios unánimes de los líderes.
1.2 Qué hace el gobierno de datos
Xiao Zhang en la historia supervisa todas las actividades financieras de propiedad de la empresa para garantizar el uso ordenado y eficiente de la propiedad. Esta es también una función similar del rol de Data Governance.
“
El trabajo central del gobierno de datos: en el proceso de construcción de datos empresariales, asegúrese de que los activos de datos de la empresa se administren de manera correcta yefectiva.
”
En términos generales, una vez que los datos se generan desde el exterior o desde el interior, se procesan por medios de big data y luego se transfieren a diferentes terminales comerciales para proporcionar el empoderamiento de datos para las aplicaciones de nivel superior de la empresa.
Todo el proceso se muestra en la figura.
- Hagamos un trabajo como la sincronización de datos para poner los datos en el sistema de big data
- Una vez que ingresan los datos, es necesario administrarlos y almacenarlos, es decir, construir un almacén de datos con referencia a la teoría del modelado y los escenarios reales.
- Después de los pasos de planificación de temas, determinación de dimensiones, salida de cálculo de etiquetas, etc.
- Salida de datos a informes, uso del lado de la aplicación
El sistema general de gobierno de datos del proceso será supervisado en todo momento. Para confirmar la entrada y salida del sistema
calidad de datos
¿Qué tal? es descapotable
activos de datos
?
linaje de datos
¿Es rastreable,
Seguridad de datos
Y otros temas.
“
Los datos sucios y desordenados son inutilizables, o incluso están seriamente enterrados.
”
2 ¿Por qué el gobierno de datos
Algunas empresas tienen un concepto vago de este problema, pensando que la escala de datos actual es pequeña y puede ser controlada por humanos, y no hay necesidad de gobierno de datos por el momento.
Pero en el uso real, todavía hay muchos problemas:
- Supervisión de datos insuficiente y datos sucios
- La escala del sistema de datos está aumentando gradualmente y la gestión es caótica.
- El linaje de los datos se pierde y los datos antiguos y antiguos no se pueden rastrear
Independientemente del tamaño de los datos de la empresa, creo que todavía es necesario planificar el gobierno de datos. Teniendo en cuenta el tema del costo, se puede realizar por etapas.
“
Por qué el gobierno de datos:
- ¿Sus datos están realmente disponibles? ¿Qué pasa con los datos faltantes y los valores atípicos?
- De dónde provienen los datos y adónde van, y si se pierde información sobre la relación de sangre
- ¿El acceso a los datos es seguro, claramente identificado o encriptado?
- ¿A qué especificaciones se debe hacer referencia para el nuevo procesamiento de datos? ¿Existen estándares para la gestión de dimensiones y etiquetas?
”
Tener una espada en la mano y no usarla y no tener una espada en la mano son dos cosas diferentes.
. Hacer un buen trabajo de planificación del gobierno de datos por adelantado ahorrará costos de transformación posteriores y evitará la reconstrucción de procesos redundantes o el derrocamiento y comenzar de nuevo.
El gobierno de datos puede garantizar de manera efectiva que el proceso de construcción de datos se lleve a cabo bajo un sistema de supervisión razonable y eficiente y, en última instancia, proporcionar
alta calidad
、
Seguridad
、
Trazabilidad del proceso
datos comerciales
3 Sistema de Gobierno de Datos
El sistema de gobierno de datos empresariales incluye
Gestión de calidad de datos
、
gestión de metadatos
、
gestión de datos maestros
、
Gestión de activos de datos
、
Seguridad de datos
y
estándar de datos
etcétera.
1 ) Calidad de los datos
Generalmente, los estándares comúnmente utilizados en la industria se utilizan para medir la calidad de los datos:
integridad
、
exactitud
、
consistencia
y
oportunidad
。
- Integridad: si los registros y la información de los datos están completos o faltan
- Precisión: si la información y los datos registrados en el resumen de datos son precisos, si hay anomalías o errores
- Coherencia: los datos comunes entre varios almacenes de datos empresariales deben ser coherentes en cada almacén de datos
- Puntualidad: los datos pueden ser emitidos y una alerta temprana a tiempo
2 ) Gestión de metadatos
Los metadatos son información sobre la organización de los datos, los dominios de los datos y sus relaciones. En términos generales, los metadatos son los datos que describen los datos.
Los metadatos contienen
metadatos técnicos
y
metadatos de negocios
. Puede ayudar a los analistas de datos a comprender claramente qué datos tiene la empresa, dónde están almacenados y cómo extraerlos, limpiarlos y mantenerlos , es decir,
linaje de datos
。
- Ayude a construir un sistema de conocimiento comercial y establezca la interpretabilidad del significado comercial de los datos
- Mejore la integración de datos y las capacidades de trazabilidad, se puede mantener la relación de sangre
- Establecer un sistema de auditoría de calidad de datos, clasificar la gestión y monitorear
3 ) Gestión de datos maestros
Los datos maestros empresariales se refieren a las entidades comerciales coherentes y compartidas dentro de la empresa. En lenguaje sencillo, se refiere a los datos compartidos entre empresas profesionales y sistemas comerciales.
Datos maestros comunes como los de la empresa.
personal
、
datos de los clientes
、
Información de la Institución
、
información del proveedor
esperar. Estos datos son fidedignos y globales, y se pueden atribuir a los activos empresariales de la empresa.
La gestión general de datos maestros debe seguir los siguientes puntos:
- Administrar y supervisar el acceso de varias organizaciones, subsidiarias y departamentos a los datos maestros y formular especificaciones de acceso y principios de gestión.
- Llevar a cabo periódicamente una evaluación de datos maestros para juzgar la integridad de los objetivos establecidos
- Organizar personal e instituciones relevantes para unificar y mejorar la construcción de datos maestros
- Brindar soporte técnico y de procesos comerciales, coordinación centralizada de todo el grupo.
4 ) Gestión de activos de datos
En general, las empresas considerarán la clasificación de activos de datos durante la transformación digital. ¿Sus datos están siendo utilizados correctamente? ¿Cómo generar el máximo valor? Este es el trabajo central por el que se preocupa la gestión de activos de datos.
Al crear activos empresariales, generalmente se consideran diferentes ángulos, a saber, ángulos comerciales y ángulos técnicos, y finalmente se fusionan para generar un resultado unificado.
Análisis de activos de datos
y proporcionar un servicio de consulta de activos de datos unificado al mundo exterior.
Cómo revitalizar los datos, formar activos de datos y proporcionar una vista panorámica completa de los activos de datos puede facilitar a los operadores el control de la dinámica de los activos empresariales a nivel global y macroscópico.
5 ) Seguridad de datos
La seguridad de los datos es una parte esencial de la construcción de datos empresariales. Nuestros datos se almacenan en discos grandes y pequeños, y proporcionamos diferentes niveles de consulta y servicios informáticos al mundo exterior.
Los datos deben ser periódicamente
verificación
、
Cifrado de campo sensible
、
permiso de acceso
control para garantizar que los datos se pueden utilizar de forma segura.
6 ) Estándares de datos
Para entender en un lenguaje sencillo, necesitamos definir un conjunto de especificaciones de datos dentro de la organización para que todos podamos entender el significado de estos datos.
Hoy, Zhang San dijo que este número de cliente es un cliente que solicitó una tarjeta bancaria, y mañana Li Si dijo que este número de cliente es un cliente que pidió dinero prestado. En comparación, los tipos de campo y las longitudes de los dos son los mismos ¿Qué opinión deberíamos adoptar?
Los estándares de datos son restricciones normativas que aseguran la consistencia y precisión del uso e intercambio interno y externo de datos.
Especificación uniforme
,eliminar
Ambigüedad
。
4 Proceso de Implementación del Gobierno de Datos Empresariales
4.1 Marco de implementación del gobierno de datos
El sistema de gobierno de datos es una organización, proceso y herramienta establecida para estandarizar diversas tareas y actividades de gestión en especificaciones de datos comerciales, estándares de datos, calidad de datos y seguridad de datos.
A través de una organización de gobierno de datos normalizada, establezca datos
gestión centralizada
El mecanismo a largo plazo estandariza el proceso de gestión y control de datos, mejora la calidad de los datos, promueve estándares de datos consistentes y garantiza la seguridad del uso y el intercambio de datos, mejorando así la eficiencia operativa y el nivel de gestión de las empresas.
4.2 Estructura organizativa del gobierno de datos
Además de los aspectos técnicos del sistema de gobierno de datos empresariales
Arquitectura de implementación
, también requiere gestión
Organización
apoyo.
Generalmente, en la etapa inicial de la construcción de la gobernanza de datos, el grupo primero establecerá un comité de gestión de gobernanza de datos. de arriba a abajo por
Toma de decisiones
、
gestión
、
capa ejecutiva
constituir. El nivel de toma de decisiones toma decisiones, el nivel gerencial formula planes y el nivel ejecutivo los implementa. Gestión jerárquica y coordinación unificada.
4.2.1 Estructura organizativa
1 ) Nivel de toma de decisiones
Proporciona la función de toma de decisiones de la gestión estándar de datos, y el entendimiento popular es tomar una decisión final.
2 ) Gestión
- Revisar los sistemas relacionados con la gestión de estándares de datos
- Discutir y tomar decisiones sobre disputas de gestión de estándares de datos difíciles entre departamentos
- Gestionar los principales asuntos de estándares de datos y enviarlos al Comité de Gestión de Tecnología de la Información para su revisión.
3 ) Capa de ejecución
- Departamento comercial: Responsable de la formulación, modificación, revisión de estándares de datos de línea de negocios, promoción e implementación de estándares de datos, etc.
- Desarrollo de tecnología: emprender la implementación de la plataforma de gobierno, estándares de datos, calidad de datos, etc.; seguir los estándares de datos en el diseño y desarrollo del sistema
- Operación de tecnología: Responsable de la formulación de normas técnicas y promoción de tecnología.
4.2.2 Responsabilidades de gestión
1 ) Gerente de Proyecto
- Determinar los objetivos, el alcance y los planes del proyecto.
- Desarrollar hitos del proyecto.
- Gestionar la colaboración entre proyectos
2 ) Equipo de revisión de expertos
Revisar el plan del proyecto y determinar la racionalidad del plan.
3 ）Oficina de gestión de proyectos
- Asegurar que los proyectos se ejecuten de acuerdo al plan
- Gestionar los riesgos materiales del proyecto
- Ejecutar colaboración y comunicación entre proyectos
- Organizar revisiones críticas del proyecto
3 ) Grupo de Trabajo de Gobernanza de Datos
Ejecutar la implementación y promoción de la operación de varios proyectos, y promover la implementación de la tecnología de gobierno de datos y el progreso del proyecto a nivel ejecutivo.
4.2.3 Responsabilidades de la capa ejecutiva
Los arquitectos de datos, los expertos en gobierno de datos y los especialistas en negocios forman un " triángulo de hierro " de gobierno de datos y trabajan en estrecha colaboración para promover la implementación del gobierno de datos y la arquitectura de datos.
1 ) Especialista en Negocios
Como persona de interfaz del gobierno de datos del departamento comercial, los especialistas comerciales
estándar
、
calidad
、
solicitud
Organizar el personal comercial en otros campos para llevar a cabo el trabajo.
- Definir reglas de datos
- Garantizar la calidad de los datos
- Aumentar los requisitos de datos
2 ) Expertos en gobierno de datos
Los expertos en gobierno de datos, como miembros del equipo de gobierno de datos, son responsables de diseñar la arquitectura de datos y operar los activos de datos, liderando la organización de negocios y TI para lograr los objetivos de gobierno de datos.
- Cree un modelo lógico de datos
- Supervisar la calidad de los datos
- activos de datos operativos
3 ) Arquitecto de datos
Como experto en el departamento de desarrollo de TI, el arquitecto de datos asume la importante tarea de implementar estándares y modelos de datos, y ayuda a resolver problemas de calidad de datos.
- Aterrizaje estándar de datos
- Aterrizaje del modelo lógico
- Aterrizaje del modelo físico
4.3 Plataforma de Gobierno de Datos
Después de determinar el plan de implementación técnica y la estructura de gestión organizacional, el siguiente paso es implementar el sistema de gobierno de datos.
En las grandes empresas, un completo
Plataforma de Gobierno de Datos
, incluidas todas las funciones de gobierno de datos, y la prestación de servicios de plataforma de forma externa.
1 ) Funciones básicas
Como sistema de producto de gobierno de datos, la plataforma de gobierno de datos tiene como objetivo garantizar que los datos en la plataforma de datos sean seguros, confiables, estándar y valiosos.
- Gestión de activos de datos
: Proporcione una búsqueda de escena orientada al usuario, proporcione un mapa de activos de datos panorámicos y facilite la búsqueda rápida de activos y el análisis de activos
- Gestión de estándares de datos
: unifique y personalice los estándares de datos, mejore la gestión, incluidos los campos, los valores de código y los diccionarios de datos, y garantice estándares unificados para los datos empresariales y los datos intermedios
- Supervisión de la calidad de los datos
: Proporcione un sistema de calidad de datos antes, durante y después del evento, y admita la configuración de reglas de monitoreo de calidad de datos, gestión de alarmas y otras funciones
- Seguridad de datos
: Proporcionar desensibilización de seguridad de datos, clasificación de seguridad y monitoreo
- Centro de modelado de datos
: modelado unificado, que proporciona modelado de sistemas comerciales y gestión de modelos
2 ) Gestión de metadatos
Como portal de visualización frontal de la plataforma de gobierno de datos, el sistema de gestión de metadatos ayuda a realizar la gestión de los activos de datos.
búsqueda rápida
capacidad para mejorar la eficacia y la eficiencia del uso de los datos.
Al establecer una estrategia de gestión de metadatos completa y coherente, proporciona funciones de llamada, consulta y acceso a la información de metadatos centralizados, unificados y estandarizados.
3 ) Calidad de los datos
- Supervisión de la calidad de los datos: apoye a todos los usuarios para configurar las reglas de supervisión de la calidad de los datos
- Bloqueo de reglas: configure las reglas de monitoreo y bloqueo de la calidad de los datos.Si hay una diferencia en la calidad de los datos, la operación de los trabajos posteriores se puede bloquear en tiempo real y la propagación de los resultados de error se puede bloquear.
- Advertencia: si hay una desviación preestablecida en la calidad de los datos, se emitirá una notificación de alerta temprana a tiempo para repararla a tiempo
4 ) Estándar de datos
Admite la personalización de una plataforma estándar de datos unificados, incluida la gestión de estándares de campo, la gestión de estándares de valor de código y la gestión de diccionarios, datos de origen comercial y estándares unificados de datos de gama media.
5 ) Seguridad de datos
Realice una gestión de seguridad de datos jerárquica basada en activos de datos grupales, identifique automáticamente la información de seguridad, proporcione monitoreo del comportamiento de seguridad de acceso a datos e identifique riesgos de acceso de manera oportuna.
4.4 Evaluación de la gobernanza de datos
Después de desarrollar y poner en funcionamiento la plataforma de gobierno de datos, es necesario verificar y evaluar el efecto del sistema general de gobierno de datos.
“
1 ) Si los datos pueden eliminar el fenómeno de " sucio, desordenado y pobre " 2 ) Si se maximiza el valor de los activos de datos 3 ) Si la relación de sangre de todos los datos es completa y rastreable. . .
”
1 ) Activos de datos
Al crear un sistema de gestión de activos de datos, se logra una cobertura completa de los activos y se admite la búsqueda global y el posicionamiento preciso de los activos de destino.
- Realice búsquedas globales y proporcione servicios de recuperación basados en escenas para los usuarios
- Admite múltiples dimensiones de recuperación, como etiquetas, mapas de datos, nombres de tablas y nombres de campos
- Admite el mapa de datos y la detección de resultados del diccionario de datos comerciales de origen
- Por ejemplo, admita la búsqueda de usuarios PV/UV y la visualización de activos, y aclare los objetivos del servicio.
2 ) Estándar de datos
La acumulación de estándares de datos nuevos y antiguos ha abierto herramientas de modelado de datos, bibliotecas de estándares de datos y bibliotecas de estándares raíz, y ha implementado estándares y raíces de datos.
- Realice el 100 % de extracción de la biblioteca estándar de datos
- Identifique de forma inteligente las referencias y los estándares de datos
- El cliente actualiza sincrónicamente los estándares y tallos de datos.
3 ) Seguridad de datos
Mantener
Construcción previa del sistema
、
Gestión y control de tecnología en proceso
、
Supervisión y auditoría posterior al evento
El principio de establecer un sistema de control y gestión de seguridad de datos de proceso completo.
Basado en el sistema de control y gestión de seguridad de datos anterior, admite la clasificación de seguridad de datos y crea un proceso de intercambio de seguridad de datos flexible.
4 ) Calidad de los datos
A través del gráfico de radar de calidad de los datos, la calidad de los datos y las tareas se califica regularmente, y el efecto de la calidad de los datos se inspecciona exhaustivamente.
- Integridad de los datos: Verifique si la información del elemento de datos es integral y completa sin faltantes.
- Niveles de respuesta de alerta: gestión diaria, respuesta a emergencias, mitigación de impactos; evitar la corrupción y pérdida de datos
- Supervise la cobertura: asegúrese de que los datos se adhieran a estándares de datos uniformes y requisitos de especificación
- Estabilidad laboral: controle la estabilidad laboral, si hay problemas como excepciones laborales
- Puntualidad del trabajo: compruebe si la adquisición de información del elemento de datos correspondiente a la tarea cumple con los requisitos esperados
5 malentendidos del gobierno de datos
1 ) ¿El gobierno de datos debe ser grande y completo?
“
Este es un problema clásico. Generalmente, para empresas de diferentes etapas y tamaños, el grado de implementación del gobierno de datos variará. En general, se recomienda proceder por etapas de acuerdo con el estado de sus propios datos, para evitar la dispersión ciega de la escala, y se puede ajustar durante el proceso.
”
2 ) El gobierno de datos es solo una consideración técnica
“
Como se menciona en el artículo, el gobierno de datos no es solo un asunto del equipo técnico, sino de que todo el grupo trabaje en conjunto. Esto incluye varias líneas de negocio y otras organizaciones de gestión Sin un buen plan de implementación y un mecanismo de coordinación, a menudo es la mitad del esfuerzo.
”
3 ) El gobierno de datos puede ser efectivo a corto plazo
“
El gobierno de datos es un proceso a largo plazo que se ajustará simultáneamente con los cambios en la escala de los datos empresariales y la planificación del almacén de datos. Algunas funciones pueden ser efectivas a corto plazo, pero es difícil lograr un sistema completo a corto plazo.
”
4 ) Debe haber una plataforma de herramientas para llevar a cabo el gobierno de datos
“
Como dice el refrán, si un trabajador quiere hacer un buen trabajo, primero debe afilar sus herramientas. Por supuesto, es mejor tener buenas herramientas. La premisa es que ya existe un plan y una estrategia de sistema de gobierno de datos maduros. Las herramientas y los medios técnicos están muy maduros en el mercado actualmente, y la teoría debe pavimentarse primero.
”
5 ) ¿El gobierno de datos se siente vago? no se el resultado final
“
El gobierno de datos es un trabajo a largo plazo que requiere profesionales relevantes para construir y ajustar de acuerdo con el estado actual de los datos y el modelo de gestión de la empresa. Se recomienda resumir mientras se practica. Los pequeños pasos y trotar son una buena manera.
”