Para más intercambios técnicos y oportunidades laborales, siga la cuenta oficial de WeChat de ByteDance Data Platform y responda [1] para ingresar al grupo de comunicación oficial.
Dentro de ByteDance, el equipo de gobierno de datos de la plataforma de datos DataLeap se compromete a establecer una plataforma de solución de gobierno de datos integral y de enlace completo.
Concepto de gobernanza de datos
La gobernanza de datos es un concepto de gestión de datos que garantiza que una organización pueda tener capacidades de calidad de datos de alta calidad durante todo el ciclo de vida de los datos y lograr una gestión completa de los datos para respaldar los objetivos comerciales.
Hay algunas palabras clave aquí: en algunas organizaciones y empresas, se centran en todo el ciclo de vida de los datos, con la esperanza de que tengan una mayor calidad y el objetivo es utilizarlos para respaldar los negocios.
Por tanto, los objetivos del gobierno de datos constan principalmente de los siguientes puntos:
Primero, maximice el valor de los datos.
En segundo lugar, gestionar los riesgos de los datos.
En tercer lugar, reducir el coste de los datos.
La gobernanza de datos es un concepto relativamente amplio. Incluye políticas, reglas, estructura organizacional, procesos de gobernanza y cierto soporte técnico. Las áreas incluyen calidad de datos, costo de datos, disponibilidad de datos y seguridad de datos.
Por lo tanto, existen varios factores determinantes que afectan los planes de gobernanza de datos, como restricciones en las regulaciones de datos y políticas de privacidad, calidad desigual de los datos, altos costos de gobernanza de datos o limitaciones de recursos, etc. Además, los métodos y el alcance de la implementación de la gobernanza también son diferentes. Por ejemplo, puede ser que una organización unificada, como un comité de gobernanza de datos, inicie algunos objetivos y planes de gobernanza en toda la empresa o empresa para promover la gobernanza de datos de toda la organización; o puede ser un alcance limitado de gobierno dentro de algunos departamentos y equipos. La realización de los objetivos del plan de gobernanza de datos debe resolverse con herramientas adecuadas, y los métodos de gobernanza de datos tienden cada vez más a desarrollarse en una dirección sistemática y basada en herramientas.
Antecedentes de la gobernanza de datos de ByteDance
Dentro de ByteDance, como plataforma unificada de gobierno de datos, nuestro objetivo es: "Establecer una plataforma de solución de gobierno de datos de enlace completo y única". La plataforma de gobierno tiene cuatro misiones:
Primero, maximice el valor de los datos. Esto incluye garantizar la calidad de los datos durante todo el ciclo de vida, lo que requiere tanto un alto valor como un bajo costo.
En segundo lugar, proporcione soluciones de enlace completo. En el proceso real, la gobernanza de datos implicará múltiples roles diferentes, incluida la perspectiva del administrador y la perspectiva del ejecutor. Esperamos que los diferentes roles en nuestra plataforma puedan utilizar algunas herramientas y métodos para promover la implementación de la gobernanza.
En tercer lugar, la combinación de herramientas y metodologías. La construcción de la plataforma de gestión de datos interna de ByteDance se guía por la metodología y se espera que la herramienta pueda proporcionar capacidades de gestión muy completas.
Cuarto, proporcionar capacidades de gobernanza mejoradas. En términos de capacidades del sistema, podemos descubrir de manera proactiva algunos peligros ocultos y hacer algunas recomendaciones o estrategias sugeridas para mejorar la eficiencia de la gobernanza.
Dentro de Byte, los diferentes roles tienen diferentes perspectivas sobre la gobernanza de datos. Por ejemplo, desde la perspectiva de los gerentes o personas responsables, pueden considerar cómo establecer algunos objetivos de gobernanza y cómo permitir que las organizaciones y equipos alcancen estos indicadores de gobernanza, pueden centrarse en cuándo se puede completar este objetivo y el progreso. También pensarán en si algunos datos o activos pueden seguir estando saludables después de que realmente realicen esta gobernanza.
Desde la perspectiva de un ejecutor, debemos considerar cómo debo hacerlo después de que se emitan los objetivos de gobernanza de datos; qué activos tengo y cuáles son los problemas con los activos; cuando hago gobernanza, ¿cómo puedo mejorar la eficiencia de la gobernanza? ¿Se descubrirán a tiempo los problemas con los activos de datos y se rectificarán rápidamente?
Enlace al proceso de gobernanza de datos
Por lo tanto, durante todo el proceso de gobierno de datos, siga los siguientes pasos:
Primero: ¿Qué tengo? Por ejemplo, mis tareas informáticas, almacenamiento de activos, algunas reglas de calidad, compromisos SLA o algunas alarmas anormales, cuáles me pertenecen.
En segundo lugar, comprender claramente los objetivos de gobernanza. Necesito saber qué quiero gestionar, por dónde empezar, qué activos son problemáticos y si algunas de mis reglas son razonables.
En tercer lugar, cómo gobernar. Por ejemplo, cuando se enfrenta a un problema de gobernanza específico, ¿cómo lo gestionan otros? ¿Tienen alguna experiencia relevante que pueda usarse como referencia? En el proceso de implementación específico, cómo mejorar la eficiencia de la gobernanza.
Cuarto, medir la eficacia de la gobernanza. Es decir, si nuestra gobernanza ha logrado algunos objetivos o ha obtenido algunos beneficios.
Finalmente, resumen y revisión. Resumen después de completar todo el proceso de enlace de gobernanza, como resumen de experiencia, resumen de problemas, etc.
Solución de gobierno de datos DataLeap
Con base en los aspectos mencionados anteriormente involucrados en el vínculo del proceso de gobernanza de datos, ¿cómo solucionamos los problemas correspondientes en cada proceso en el lado de la plataforma? Toda la idea se divide en tres dimensiones:
ventanilla única
Al crear una solución integral, la hemos dividido en tres capas.
La primera capa: capa de vista. Esta capa de vista es para permitirnos saber qué activos tenemos, qué tenemos, cuáles son nuestros objetivos y cómo formularlos. A esto lo llamamos capa panorámica de gobernanza.
La segunda capa: capa de programa. Ésa es la capa que realmente implementa y promueve este proceso de gobernanza. En esta capa, proponemos dos rutas de gobernanza, una es la ruta de planificación proactiva y las otras dos son la ruta de descubrimiento del sistema.
-
Ruta de planificación del sistema: es coherente con el objetivo de gobernanza desde una perspectiva de arriba hacia abajo, haciendo algunos planes para ello y diagnosticando los activos correspondientes después de hacer algunos planes. Después del diagnóstico, se diagnostican los problemas patrimoniales y se promueven e implementan los problemas correspondientes, y finalmente se obtienen algunas estadísticas y un resumen de ingresos. Esto es parte de la planificación proactiva.
-
Ruta de descubrimiento del sistema: la ruta de descubrimiento del sistema en realidad resuelve principalmente cómo puedo continuar administrando estos activos o problemas de gobernanza a diario. Gobernanza diaria en lugar de una gobernanza al estilo de una campaña. Esto se define en función de algunas reglas globales en nuestra plataforma. Usted se suscribe a través del sistema, ejecuta análisis regulares en el sistema, descubre problemas con algunos activos y los envía a las personas responsables de estos activos a través de algunos mensajes, y realiza algunas tareas como como Hablemos del registro de causas raíz, registro de problemas, revisión de accidentes y finalmente algún resumen e intercambio de experiencias, etc.;
La tercera capa: capa de capacidad de herramienta. Es decir, para satisfacer la capa de vista y la capa de solución anteriores, proporcionamos algunas capacidades en el lado de la herramienta, incluidos algunos escenarios de gobernanza vertical y calidad, costo de seguridad, estabilidad, activación de alarma, etc. También existen algunos servicios básicos para apoyar la construcción de estas nuestras herramientas. Por ejemplo, extraeremos algunos centros de mensajes, centros de datos en la nube, motores de reglas o servicios de datos, etc.
Lo anterior es nuestra idea integral.
enlace completo
Enlace completo significa que esperamos que la gobernanza pueda alcanzar un estado de circuito cerrado.
En todo el enlace, puede haber algunos métodos de uso diferentes o algunos métodos de operación para diferentes roles. En todo el camino veremos lo que tenemos desde la vista de activos. Establezca algunas metas y planes basados en estas vistas de activos. Por ejemplo, algunos indicadores impulsados externamente, algunos indicadores impulsados por el negocio o algunos indicadores de políticas o de cumplimiento, etc., se utilizan para formular nuestros objetivos de gobernanza.
En respuesta a estos objetivos, formularemos algunos planes.
Por ejemplo, si desea reducir algunos activos de almacenamiento, puede utilizar algunas reglas para seleccionar las partes problemáticas de los activos. Posteriormente, para promover la implementación de esta gobernanza, algunos tomadores de decisiones de gobernanza o líderes de algunos equipos pueden ser responsables de cierta supervisión de las reuniones grupales, o de algunos recordatorios regulares de suscripción, etc. En el proceso de promoción del plan de gobernanza, también esperamos que la persona responsable de los activos, es decir, el implementador de la gobernanza, pueda implementar específicamente acciones de gobernanza en nuestra herramienta de plataforma, como algunas declaraciones basadas en SLA, optimización de parámetros, almacenamiento. configuración de reglas, ajuste de reglas, etc.
Después de una serie de gobernanza, debemos tener un vínculo de aceptación, que puede ser la aceptación de los indicadores generales, si el negocio cumple con los estándares, si los indicadores son razonables y, finalmente, algún resumen de la experiencia, que es parte del vínculo completo. .
Por supuesto, el enlace completo también incluye la ruta sistemática y de escaneo que acabamos de mencionar. Esto también se realiza mediante la formulación de algunas reglas para iniciar la definición y suscripción de reglas en el sistema. Descubriremos algunos problemas mediante un análisis sistemático y, una vez descubiertos e implementados, es posible que se nos proporcione cierta gobernanza al formular algunas reglas específicas. Por ejemplo, puede configurar aún más algunas reglas de supervisión para evitar algunos problemas de gobernanza.
Esta es la parte del enlace completo.
reglas completas
El objetivo de las reglas completas es proporcionar capacidades de reglas de gobernanza relativamente completas que puedan servir a la cartera de activos planificada y al escaneo de activos responsivo que acabamos de mencionar. Esta es una consideración en términos de la integridad de las capacidades de la plataforma. En la actualidad, proporcionamos cuatro dimensiones, como el cálculo de almacenamiento y la alarma de calidad, y ahora existen docenas de reglas de gobernanza que se pueden seleccionar y combinar a voluntad. Estas incluyen algunas reglas globales y reglas personalizadas.
Por ejemplo, reglas globales, como tareas con resultados vacíos en los últimos 7 días y si hay tareas de escaneo de fuerza bruta. O algunas definiciones, como el ciclo de vida, puede elegir un período de tiempo para escanear o las tareas de los últimos xxx días están vacías, seleccione estas tareas, estas son las partes personalizadas.
También hay algunas clases de estadística y minería. La categoría de estadística es la aplicación y procesamiento de metadatos basados en la construcción de datos. Por ejemplo, como la tabla sin acceso en los últimos 90 días o la selección circular de tareas de inclinación de datos. La clase de minería en realidad realiza una minería más profunda sobre la base de metadatos para encontrar algunos problemas de datos, como tablas de bases de datos similares, tareas similares, etc.
Arquitectura de plataforma de gobierno de datos integral
Lo anterior presenta nuestras soluciones para la gobernanza de datos, incluidas reglas completas, enlaces completos y ventanilla única. A continuación, se presenta la arquitectura de plataforma específica.
Estructura general
En primer lugar, en la parte de arquitectura general, este es el diagrama de arquitectura general dentro de la plataforma de gobernanza.
La parte gris son las capacidades del producto reveladas a los usuarios en la plataforma, incluido el panorama de gobernanza. El panorama de gobernanza corresponde a la capa de vista única en este momento, que puede decirle a los usuarios qué activos tienen y cuál es el estado de estos activos. Luego está la mesa de trabajo de la gobernanza. La parte del banco de trabajo está dirigida al implementador de la gobernanza, quien puede localizar o acceder rápidamente a algunas soluciones y plataformas de gobernanza relacionadas. Este es un análisis que incluye elementos pendientes y estos activos, etc. A esto le siguen algunas secciones de planificación del diagnóstico. Es un módulo que sirve al camino de la planificación proactiva. Realizará algunas combinaciones periódicas de nuestros activos para realizar un diagnóstico final. También existen varios escenarios de gestión vertical, como optimización de recursos, alarma y suscripción, y garantía SLA. Finalmente, existe una parte de gestión de revisiones, que es un módulo para resumir y acumular experiencia, registrándola de forma sistemática.
La parte intermedia se basa en la idea de reglas completas, que presentan reglas de almacenamiento, reglas de cálculo, reglas de calidad y reglas de alarma en la plataforma, permitiendo a los usuarios seleccionarlas libremente para lograr propósitos flexibles y completos.
La capa verde a continuación son algunos servicios abstractos a nivel de componentes del sistema. Haremos algunas abstracciones sobre el diseño básico subyacente de escenarios típicos de gobernanza de datos para lograr el propósito de reglas o escenarios de gobernanza flexibles y adaptables.
Construcción de metadatos
En la gobernanza de datos, creemos que los metadatos son en realidad el núcleo de la gobernanza, y la gobernanza debe estar impulsada por los metadatos. En nuestro trabajo de gobernanza, la construcción y gestión de metadatos incluye principalmente los siguientes cinco aspectos:
Primero, la recopilación de metadatos. Recopilaremos algunos datos de la arquitectura del componente subyacente, la cola de hilo, datos de varios componentes como Hive, Spark, Flink, etc., así como algunos metadatos a nivel de plataforma, incluido el sistema de programación, el mapa de datos, el linaje, los permisos, tareas, almacenamiento, datos Algunos metadatos de plataformas, como aplicaciones, se someterán a algún procesamiento sistemático después de la recopilación. Seguimos la construcción de especificaciones jerárquicas del almacén de datos para mejorar la aplicabilidad de los datos. Al mismo tiempo, el concepto de gobernanza de datos se sigue plenamente durante el proceso de procesamiento para garantizar que los datos sean de alta calidad y confiables.
En segundo lugar, la aplicación de metadatos. En la parte de la aplicación de metadatos, proporcionaremos más capacidades de aplicación a la plataforma de productos ascendente basada en el almacén de metadatos.
En tercer lugar, la parte de análisis. Desarrollaremos muchos indicadores comerciales básicos y algunos indicadores internos, y exploraremos algunos problemas potenciales de datos a través del análisis del comportamiento del usuario en algunos escenarios de gobernanza. Además, se construirán varios tableros de análisis en varias dimensiones.
Cuarto, la parte de excavación. Esta es una aplicación de datos de nivel superior. Promoveremos algunos algoritmos y mecanismos de minería para descubrir algunos problemas manejables. Por ejemplo, podemos extraer la similitud de algunos activos de datos. Algunas predicciones para el futuro se basan en datos históricos, como predicciones de valores fijos del número de filas en algunas tablas de datos y algunas recomendaciones para mejorar la eficiencia.
Finalmente, está la parte abierta de los metadatos. Cooperaremos con varios equipos de datos dentro de ByteDance para generar apertura bajo demanda y proporcionar capacidades de metadatos.
módulo de producto
A continuación se presentan los módulos del producto en el lado de la plataforma, que también se pueden ver en el producto Volcano Engine DataLeap.
Primero, el panorama de la gobernanza. Resuelva el problema de qué activos hay. Actualmente hay algunos mercados en la plataforma, incluidos mercados de SLA de datos, mercados de almacenamiento, mercados de informática, mercados de alarmas, etc. Estos mercados tendrán diferentes dimensiones de visualización para diferentes escenarios de gobernanza, incluidas algunas tendencias de datos y algunas listas de proporciones, o algunas. detalles agregados y otros datos. Lo que respalda el panorama de gobernanza es nuestro almacén de metadatos subyacente y la parte de aplicación de datos que acabamos de mencionar, que realiza algún procesamiento de los datos.
En segundo lugar, puntos de salud. Esperamos que la puntuación de salud pueda medir la salud del activo y mantenerlo saludable. En la construcción de puntos de salud seguimos varios pasos. El primero es proporcionar primero análisis y construcción de varias dimensiones de puntajes de salud a través del almacén de metadatos en la construcción de puntajes de salud, incluidas algunas clasificaciones de miembros. La segunda parte es proporcionar más análisis dimensional, análisis de elementos de deducción y análisis de costos con estos puntos de salud, que pueden dividir los puntos de salud en proyectos manejables. Después del proyecto, estos elementos manejables están específicamente relacionados con algunas operaciones de gobierno de datos. y diseño de programas. Por ejemplo, podemos saltar a algunas interfaces de escena de administración vertical para realizar algunas configuraciones operativas o establecer conexiones con algunos planes de administración planificados para algunos elementos de deducción de puntaje de salud. Estas son algunas ideas para puntos de salud.
En cuanto al diseño de los puntos de salud, seguimos una arquitectura de tres capas. En primer lugar, la primera capa es la capa de activos macro y relativamente grande. Incluyendo puntos de salud almacenados, puntos de salud calculados, calidad de los datos, etc. La segunda capa es para algunos indicadores de agregación autoadministrados de este tipo, incluidos, por ejemplo, datos no válidos en la puntuación del estado del almacenamiento o problemas con el almacenamiento eficiente. La salud informática se divide en cuestiones de tareas ineficaces y cálculos eficientes. SLA en términos de calidad de datos o cuestiones de seguimiento y aseguramiento. La última capa es la capa de reglas más detallada. Incluyendo configuraciones TTL en el almacenamiento o algunos activos sin consulta. Por ejemplo, hay tareas fallidas consecutivas en informática o algunas tareas con una utilización de recursos relativamente baja. Algunos SLA cifras de accidentes en la calidad de los datos o alguna falta de seguimiento, alarmas no válidas, etc.
Después de tener el panorama de activos y el panel, podemos realizar algunas operaciones de gobernanza, que corresponden a las operaciones de gobernanza de segundo nivel en la ventanilla única. Como se mencionó anteriormente, en realidad tenemos dos caminos. El primero es el camino de la planificación, que puede consistir en desmantelar las cuestiones de gobernanza desde una perspectiva relativamente alta. En este camino, necesitamos tener objetivos claros, el proceso puede descomponerse, los beneficios pueden cuantificarse y los resultados pueden aceptarse.
diseño de sistemas
Finalmente, hablemos de cómo el sistema admite la arquitectura planificada.
Arquitectura planificada:
Hay varios módulos principales en el diseño de la infraestructura subyacente.
En primer lugar, el backend es una parte principal de la operación lógica, que incluye las reglas que acabamos de mencionar, las reglas de gobernanza, los dominios de gobernanza, algunas capacidades de selección de círculos, consultas de activos y estadísticas de ingresos, formulación de objetivos de gobernanza y visualización de resultados de gobernanza. operaciones de gestión específicas.
Hay varios módulos de servicios abstractos que respaldan la parte lógica de back-end. El primer módulo es el servicio de consulta de datos, uno de los principales problemas que resuelve es la adaptación de diferentes heterogeneidades de almacenamiento subyacentes. Estos datos sin procesar son procesados por algunas aplicaciones de capa superior y colocados en el almacenamiento de diferentes aplicaciones para adaptarse a diferentes tipos de consultas. A través de este servicio se realiza cierta desvinculación. La fuente de datos en este servicio es el servicio de recopilación de eventos. Realizaremos algunas conversiones de formato, procesamiento de mensajes, incluida la asociación de algunos componentes subyacentes, devoluciones de llamadas del sistema, recopilación de datos, etc.
A su vez, relacionado con este servicio se encuentra el módulo para la implementación específica de gobernanza, el cual está relacionado con las operaciones de gobernanza en el sistema.
Por ejemplo, como configurar el ciclo de vida de algunas tablas, o eliminar tablas, etc. Estas operaciones se realizarán en forma de mensajes, a través del módulo de ejecución para entregar algunas tareas y llamar a los componentes subyacentes. A través de algunos estados, el servicio de recopilación de eventos también coloca en el servicio de consulta si la gobernanza ha obtenido algunos beneficios y si el mensaje es exitoso, generando datos que se pueden consultar sobre los beneficios.
Finalmente, en la parte de reglas de gobernanza y dominios de gobernanza, se proporcionan capacidades de reglas completas. En esta parte, proporcionamos algunos servicios de motor de reglas, incluido el análisis de reglas, la conversión de consultas, el envío de consultas y el resumen de resultados. Esta es la arquitectura subyacente para Las funciones anteriores algo de soporte.
Arquitectura responsiva:
El siguiente es el proceso reactivo, que es muy similar al proceso proactivo. Incluyendo procesos como activación de mensajes, análisis de problemas, promoción de gobernanza, registro de problemas, revisión de resumen, etc. El marco y la planificación de los procesos de respuesta son en realidad muy similares.
Principalmente hay algunas partes diferentes. La primera es que hay un servicio de mensajes a la izquierda, porque nuestro camino en realidad se basa en mensajes, nos conectaremos con la plataforma de I+D, la plataforma de calidad, la plataforma natural y muchas otras plataformas que envían mensajes y alarmas, y envían sus mensajes y Las alarmas están unificadas en nuestro servicio de distribución. Los canales de distribución pueden incluir, por ejemplo, Feishu utilizado por ByteDance, o correo electrónico, llamadas telefónicas, mensajes de texto, etc. Algunos datos generados por estos mensajes también se incluirán en el servicio de consulta mediante la recopilación de datos para mostrar algunas alarmas. Además, en el área de mensajes tendremos una fuerte conexión con el módulo de revisión para registrar, aprobar y revisar el asunto.
El último es el banco de trabajo, que es principalmente para mejorar la eficiencia y resolver los elementos a gestionar, por ejemplo, hay algunas partes a gestionar que deben abordarse, puedo iniciar esta gobernanza lo antes posible o hablar sobre algunas. de mis bienes personales. Esta es la idea central del banco de trabajo.
El escenario de gobernanza incluye principalmente calidad, SLA de datos, recursos y alarmas.
El objetivo principal en los escenarios de optimización de recursos es proporcionar análisis independientes y capacidades de optimización de bajo umbral.
Ahora se centra principalmente en el almacenamiento y la informática, y proporciona muchas capacidades de gestión vertical. Por ejemplo, puede configurar directamente algunas configuraciones de almacenamiento en caliente, reducción de copias y TTL en la plataforma. En términos de cálculo, puede saltar directamente a los detalles de la tarea para realizar análisis, tareas fuera de línea y sugerencias de ajuste de parámetros, etc.
Por último, también hablamos de nuestras perspectivas laborales futuras, como se muestra en la figura:
El primer aspecto es continuar fortaleciendo las capacidades de circuito cerrado de mi herramienta.
El segundo aspecto va desde la resolución de problemas generales de gobernanza de datos hasta una gobernanza más refinada, incluidos indicadores y soluciones personalizados, para observar los problemas reales desde una perspectiva empresarial.
Finalmente, existe una gobernanza de datos mejorada, que esperamos que se pueda actualizar a algunos algoritmos y plataformas inteligentes en el lado de los datos a través de algunas categorías estadísticas y de minería.
Haga clic para ir a
Big Data R&D Governance Suite DataLeap
para obtener más información
{{o.nombre}}
{{m.nombre}}