Implementación de estandarización de datos.

1. Clasificación y formulación estándar de datos.

(1) El concepto de estándares de datos.

Estándares de datos: los datos son un activo empresarial. Identifique y defina datos comerciales, y desarrolle y publique definiciones y estándares de datos para toda la empresa para datos críticos. Cada dato tiene asignado un propietario único que es el responsable de definir las reglas de uso y protección de los datos.
Según el sistema de estándares de big data formulado por el grupo de trabajo de estándares de big data del Comité Técnico Nacional de Normalización de Tecnología de la Información, el marco del sistema de estándares de big data consta de siete categorías de estándares, a saber, estándares básicos, estándares de datos, estándares técnicos, plataformas y herramientas. estándares, estándares de gestión, estándares de seguridad y privacidad y estándares de aplicación de la industria.
El proceso de desarrollo de estándares de datos incluye las siguientes actividades: proponer requisitos, desarrollar estándares de datos comerciales (BDS), revisión, publicación, archivo, etc. Los estándares de datos son acuerdos consistentes sobre la expresión, formato y definición de datos, incluidas definiciones unificadas de atributos comerciales de datos, atributos técnicos y atributos de gestión; el propósito de los estándares de datos es hacer que los datos utilizados e intercambiados dentro y fuera de la organización sean consistentes y precisos. .
Los estándares de datos son la base de la gestión de la calidad de los datos y proporcionan una base para emitir juicios sobre la precisión y coherencia de los datos. Los estándares de datos se dividen en estándares de datos básicos y estándares de datos de indicadores. Los estándares de datos básicos generalmente incluyen estándares de datos maestros, estándares de modelos de datos lógicos, estándares de modelos de datos físicos, etc.; los estándares de datos de indicadores generalmente se dividen en estándares de indicadores básicos y estándares de indicadores técnicos. Se recomienda que las empresas:
En primer lugar, cubran la dimensión empresarial de datos, la dimensión técnica y la dimensión de gestión en el marco de contenido estándar de datos. Entre ellas, las dimensiones comerciales incluyen: nombre, definición comercial, dimensiones de descomposición, etc.; las dimensiones técnicas incluyen: formato de código, rango de valores, longitud, precisión, etc.; las dimensiones de gestión incluyen: departamento responsable de datos, lanzamiento estándar y fecha de vencimiento, etc. .
En segundo lugar, el marco de clasificación de estándares de datos cubre estándares de datos maestros y estándares de datos de indicadores. Entre ellos, los estándares de datos maestros incluyen: estándares de datos maestros de recursos humanos, estándares de datos maestros financieros, estándares de datos maestros de adquisiciones, etc.; los estándares de datos de indicadores incluyen: estándares de datos de indicadores de control y estrategia empresarial, estándares de datos de indicadores de operación y inversión empresarial y estándares de datos empresariales. Indicadores de servicio y soporte Estándares de datos, Estándares de datos de indicadores de operación del sector industrial.
(2) Cómo formular estándares de datos
La gestión de estándares de datos consiste en formular estándares de datos que satisfagan las necesidades comerciales y las tendencias de desarrollo futuro de la empresa para los datos dentro de la empresa, e implementarlos y aplicarlos de manera correcta y oportuna en varios departamentos y sistemas de aplicaciones; al mismo tiempo, de acuerdo con el cambios y desarrollo continuos del negocio, actualizar y mantener estándares de datos y aplicarlos a varios departamentos y sistemas de aplicaciones para adaptarse a las últimas novedades del negocio y garantizar la coherencia con los objetivos comerciales. La gestión de estándares de datos se refleja en la formulación, revisión, implementación y retroalimentación de los estándares de datos.
Estrategia de gestión de estándares de datos: es la base del proceso de mantenimiento de estándares de datos y define principalmente las responsabilidades y derechos de cada departamento funcional en el desarrollo e implementación de estándares de datos.
Definición de requisitos de datos: Es un proceso dinámico y continuo. Una definición clara de las capacidades empresariales es la base para definir los requisitos de datos.
Definición de estándar de datos: refleja la comprensión y la definición comercial de los estándares de datos por parte de múltiples departamentos comerciales relevantes. La participación de los departamentos comerciales es un factor clave en la definición de los estándares de datos.
Lanzamiento e implementación de estándares de datos: Es la base para garantizar la aplicación de los estándares de datos. Un fuerte liderazgo interdepartamental es la garantía básica para la implementación de estándares de datos.
Comentarios de la aplicación estándar de datos: es un proceso de circuito cerrado desde la demanda hasta la aplicación. Los canales fluidos de retroalimentación de las aplicaciones son un vínculo clave para que el proceso de mantenimiento estándar de datos entre en un círculo virtuoso.
Arbitraje de ambigüedad de estándares de datos: dado que el estándar de datos es un estándar orientado a aplicaciones comerciales interdepartamentales, cuando ocurre ambigüedad en la aplicación de estándares de datos, el arbitraje autorizado es la base para la operatividad de los estándares de datos.
Revisión de estándares de datos: es un proceso de trabajo continuo de "requisitos - definición - revisión - publicación - comentarios de la aplicación" para garantizar que los estándares de datos se adapten a las necesidades comerciales en tiempo real.
Se recomienda que las empresas desarrollen estándares de datos a través de las siguientes cuatro medidas principales:
(1) Desarrollar planes de implementación implementables. Los planes de implementación deben centrarse en la implementabilidad, y los planes que no puedan implementarse eventualmente serán abandonados. Un plan implementable debe tener una estructura organizacional y una división del trabajo del personal. Debe incluirse en el plan de ejecución de qué es responsable cada persona, cómo evaluar y cómo supervisar.
(2) Comprender correctamente el propósito de la construcción de estándares de datos, que es unificar el calibre de los datos dentro de la organización, guiar la construcción de sistemas de información y mejorar la calidad de los datos.
(3) Comprender plenamente la dificultad de la estandarización de datos. Es necesario obtener el apoyo de los tomadores de decisiones gerenciales, mejorar el nivel de gestión organizacional y estar preparados para avances a largo plazo.
(4) Establecer un formulario de implementación estándar de datos científico y factible. Es necesario considerar cómo implementar estándares de datos en los sistemas y plataformas de big data existentes.
Al formular estándares y especificaciones de datos que estén en línea con la situación real de la empresa, estableceremos un sistema de gestión de metadatos a nivel empresarial y promoveremos su implementación en todas las áreas de la empresa para respaldar la construcción de bases de datos y operaciones digitales. Las empresas pueden consultar la plantilla estándar de datos (consulte el Apéndice 2 para obtener más detalles) para describir en detalle el contenido estándar de datos de cada nivel L5 (es decir, atributos) desde tres perspectivas: negocio, tecnología y gestión: Primero, perspectiva empresarial: por ejemplo. ,
tema Dominios, objetos comerciales, entidades de datos lógicas, clasificaciones de datos, atributos comerciales, definiciones y usos comerciales, reglas comerciales, sinónimos, etc.
En segundo lugar, la perspectiva técnica: por ejemplo, tablas físicas, campos del sistema, tipos de datos, longitudes de datos, si hay una lista de valores permitidos, valores permitidos, ejemplos de datos, etc.
En tercer lugar, la perspectiva de gestión: por ejemplo, el sujeto responsable de las reglas de negocio, el sujeto responsable del mantenimiento de los datos, el sujeto responsable del seguimiento de los datos, etc.

2. Sistema marco estándar de datos

Para las empresas, la estandarización de datos es el trabajo básico de la informatización y digitalización empresarial y no solo mejora el intercambio de datos, sino que también proporciona a las empresas vistas de datos unificadas, especificaciones de datos y estándares de codificación que cumplen con los estándares de la industria.
La estandarización de datos debe seguir los siguientes principios:
1) Definición de datos estándar unificada: reducir la ambigüedad de la definición de datos.
2) Gestión de modelos de datos unificados: garantice el establecimiento de un modelo de datos general a nivel empresarial que pueda expresar plenamente la visión de datos común y consistente de una empresa en todos los sistemas, aplicaciones y dominios comerciales.
3) Reglas de codificación de datos unificadas: la gestión estándar unificada de datos también incluye reglas de codificación unificadas.
Los estándares de datos se aplican a lo largo de todo el ciclo de vida de los datos y el marco del sistema de estándares de datos se muestra en la figura:

Especificaciones técnicas operativas: incluidas especificaciones de recopilación de datos, especificaciones de seguridad de datos, especificaciones de clasificación de datos, especificaciones de gestión de datos maestros, especificaciones de modelado de datos, especificaciones de gestión de metadatos, etc. Las especificaciones técnicas operativas limitan la implementación y ejecución de la estandarización de datos basada en los requisitos técnicos de operación y gestión a nivel de operación.
Estándares de datos básicos: incluidos términos comerciales, reglas comerciales, convenciones de nomenclatura y estándares de codificación. La creación de estándares de datos requiere conocimiento del dominio empresarial para garantizar que exista una comprensión coherente de los estándares de datos dentro de la organización desde su creación.
Estándares de datos de objetos: incluidos estándares de clasificación de datos, estándares de datos maestros, estándares de fuentes de datos, estándares de datos de transacciones, estándares de datos de indicadores, estándares de datos de etiquetas y estándares de datos de sujetos. Los estándares de objetos describen la clasificación de objetos de datos, así como los procesos o especificaciones de clasificación, definición, denominación, descripción y gestión para cada tipo de objeto de datos.
Estándares de datos de arquitectura: incluido el catálogo de datos, el modelo de datos, la distribución y el flujo de datos, el intercambio de datos, los servicios de datos y los estándares de metadatos. Los estándares de datos deben basarse en una arquitectura de datos a nivel empresarial y definir la adquisición y el uso de datos desde un nivel lógico.
Estándares de datos de aplicaciones: se refieren a los procesos de gestión funcional y gestión empresarial o requisitos funcionales que deben implementarse al desarrollar e implementar aplicaciones de información.
Mecanismo de garantía de estándares de datos: incluida la organización y el sistema de estandarización de datos, el reconocimiento y el desempeño de responsabilidades, la capacitación de talentos y la cultura de datos. El mecanismo de garantía de estandarización de datos proporciona garantía para el trabajo de estandarización de datos desde los aspectos de organización, sistema y mecanismo de trabajo, reconocimiento de responsabilidad y desempeño.
Herramientas de gestión de estandarización de datos: incluido el intercambio de datos, servicios, estándares de datos, catálogos de datos, modelos de datos, datos de indicadores, metadatos, datos maestros y otras herramientas de gestión. El trabajo de estandarización de datos requiere el apoyo de herramientas técnicas. Es necesario implementar especificaciones técnicas operativas en el software relacionado con la gobernanza de datos y la gestión de activos de datos, y se debe establecer un mecanismo a largo plazo para la estandarización de datos desde los aspectos del proceso de gestión y la implementación de tecnología.
Todos los aspectos del ciclo de vida de los datos son inseparables del soporte de los estándares de datos. Los estándares para cada enlace de datos son los siguientes:
1) Cuando las fuentes de datos generan datos, deben seguir estándares de terminología empresarial, estándares de datos de referencia y estándares de datos maestros.
2) Al recopilar datos, debe seguir los estándares de elementos de datos, estándares de metadatos, estándares de recopilación de datos, etc.
3) Al almacenar datos, se deben seguir los estándares de clasificación de datos, reglas comerciales, convenciones de nomenclatura, etc.
4) Al procesar datos, es necesario seguir las especificaciones del modelado de datos, las especificaciones del modelo de datos, las especificaciones de operación ETL, etc.
5) Cuando se aplican datos, es necesario cumplir con la especificación de cantidad, la especificación de distribución y flujo de datos, la especificación de la etiqueta de datos, etc.
6) El archivo de datos debe seguir las especificaciones de archivo de datos, etc.
7) Al destruir datos, es necesario seguir las normas de destrucción de datos, etc.

3. Mecanismo de garantía de estándares de datos

La estandarización de datos es un trabajo sistemático y a largo plazo. Para garantizar su implementación efectiva, es necesario establecer un mecanismo sólido de protección de datos. El mecanismo de garantía de estandarización de datos empresariales incluye organización de gestión y control, construcción de sistemas, mecanismo de reconocimiento de responsabilidad y evaluación del desempeño, capacitación de talentos y cultura de datos.
1. La estandarización de datos de las organizaciones de gestión y control
requiere organizar recursos, construir procesos, realizar negocios e implementarlos dentro de la empresa en función de los requisitos de gestión, el posicionamiento de control, el modelo de gestión y las características comerciales de la empresa. Mediante la creación de un equipo o personal profesional para estandarización de datos, así como división profesional precisa del trabajo, colaboración y vinculación entre dominios, y formar un mecanismo fluido de comunicación, consulta y cooperación. El diseño organizacional debe cumplir con los requisitos de cobertura funcional, colaboración eficiente y liderazgo en innovación, y coincidir con la actualización y el desarrollo de los modelos generales de negocios, organización y gestión de la empresa. La división del trabajo debe ser clara y cada persona debe realizar su trabajo. Debe reforzarse la supervisión de la ejecución y el seguimiento de diversas tareas de normalización de datos.
2. Construcción del sistema:
cuando las empresas llevan a cabo una gestión estandarizada de los sistemas de gestión de activos de datos, necesitan formular regulaciones estándar de datos relevantes para proporcionar reglas y definiciones para diversas tareas, incluida la gestión de estándares de datos.
3. Mecanismo de rendición de cuentas y evaluación del desempeño
La estandarización de datos requiere la formulación de un proceso de rendición de cuentas eficaz basado en principios, una división clara de responsabilidades y la determinación de reglas de evaluación del desempeño de los datos, pasos y procesos de evaluación del desempeño, etc.
4. Capacitación de talentos:
si las empresas quieren estandarizar los datos, deben establecer un sistema de construcción y cultivo de capacidades que incluya un sistema de capacitación y un sistema de evaluación de talentos, y aclarar los requisitos de la estructura de conocimientos y habilidades de los talentos de datos y los planes de capacitación de talentos profesionales.
5. La cultura de datos
dentro de la empresa debe continuar promoviendo la construcción de la cultura de datos, fortalecer la promoción de conceptos y casos de cultura de datos, mejorar el pensamiento de datos de los gerentes en todos los niveles de la empresa, construir un entorno de discurso de datos e integrar datos en las operaciones de todos los niveles de los departamentos y unidades de negocios de los modelos y formas de pensar de la empresa, y crear una buena atmósfera de cultura de datos dentro de la empresa.

4. Implementación de la estandarización de datos.

La implementación de la estandarización de datos involucra muchos campos: las empresas deben llevar a cabo el trabajo de implementación de manera ordenada de acuerdo con ciertos pasos y planes basados ​​en sus propias características y condiciones específicas y sobre la base de una planificación general.
1. Implementación de la gestión de estándares de datos
La implementación de la gestión de estándares de datos debe implementarse en lotes y fases según la basicidad, criticidad y urgencia del contenido planificado. La ruta de implementación del sistema de gestión de estándares se puede dividir en fortalecer la base de datos servicio estándar 1. Mejorar las capacidades generales de gestión y control del estándar de datos y formar capacidades de servicio estándar de datos en tres etapas.
2. Implementación de la clasificación de datos
La clasificación de datos es la base para realizar la gestión de activos de datos. Una clasificación de datos razonable proporcionará una mejor garantía para la gestión y aplicación de los datos. De acuerdo con las diferentes necesidades de gestión y aplicación, la clasificación de datos se puede realizar desde muchas perspectivas y dimensiones diferentes. La clasificación de los datos debe seguir los siguientes principios: cientificidad, estabilidad, unicidad, coherencia, primaria y secundaria.
3. Implementación de la clasificación de datos
La clasificación de datos se define de acuerdo con ciertos principios y métodos basados ​​en la sensibilidad de los datos y el impacto en las víctimas después de que los datos sean manipulados, destruidos, filtrados o utilizados ilegalmente. La clasificación de datos empresariales comienza primero desde la perspectiva del cumplimiento de la seguridad y los requisitos de protección de datos y, en segundo lugar, considera el valor de los datos y las necesidades de las aplicaciones, teniendo en cuenta los requisitos integrales de la gestión de datos empresariales. Los principios de clasificación de datos incluyen: cumplimiento, ejecución, puntualidad, autonomía, racionalidad y objetividad.
4. Implementación de la gestión de datos maestros La
implementación de la gestión de datos maestros requiere establecer garantías organizativas efectivas y apoyo institucional en la etapa inicial, formar una estandarización de datos y un modelo de gestión estandarizado, y luego continuar operando de manera efectiva.
5. Implementación de la gestión de indicadores de datos
Al implementar la gestión de indicadores de datos, es necesario estandarizar la gestión de los datos de los indicadores generados por el procesamiento básico de datos, construir un sistema de indicadores, realizar una clasificación científica de los indicadores y establecer una serie de mecanismos de garantía.
6. Implementación de la gestión de metadatos
La implementación de metadatos empresariales incluye principalmente cuatro etapas: análisis de requisitos, planificación y diseño, implementación de herramientas y operación y mantenimiento continuos. La implementación de metadatos puede ayudar a comprender rápidamente los antecedentes de los datos, establecer un catálogo de activos de datos, explorar y recuperar datos rápidamente a través de un mapa de datos unificado, maximizar el valor de los datos y resolver el problema de la isla de datos.
7. Implementación de la gestión del modelo de datos
El modelo de datos hereda la semántica empresarial hacia arriba e implementa datos físicos hacia abajo. No solo incluye un diccionario de datos, sino que, lo que es más importante, incluye temas comerciales, objetos comerciales, relaciones de datos y mapeo de estándares de datos. Por lo tanto, el modelado de datos basado en estándares de datos es un punto de partida importante para la implementación de estándares de datos. El éxito del modelado de datos puede hacer que la implementación de estándares de datos sea más efectiva con la mitad del esfuerzo.

5. Herramientas de gestión de estandarización de datos.

La implementación y gestión de la estandarización de datos implica procesos de gestión complejos y operaciones técnicas de colaboración organizacional, por lo que es necesario confiar en las plataformas y herramientas técnicas correspondientes para respaldar el trabajo de gestión de la estandarización de datos. Las herramientas de gestión de estandarización de datos generalmente incluyen mapas de datos, gestión de datos maestros, indicadores de datos, gestión de metadatos, herramientas de modelos de datos, herramientas de servicio e intercambio de datos, gestión de activos de datos, desarrollo de datos, gestión de calidad de datos, seguridad de datos, gestión de costos de datos, etc. Estas herramientas se describen en detalle en capítulos posteriores y no se repetirán aquí.