Los conjuntos de datos se convierten en el lado de salida, sería subvertir el trabajo de hacer ingeniero de datos?

AI frente REVISIÓN: datos de la próxima estación conocida como Big Data, el surgimiento de Ali, la idea principal es compartir datos y 2018 porque "tabla de datos Tencent sobre" una vez más convertirse en el foco de la discusión. En el 15 de marzo ThoughtWorks tecnología reunión Lei Dafeng, el tema de los datos en la tabla también recibió entusiasta atención de muchos de los asistentes. Hoy en día, todo el mundo parece hablar en la tabla de datos, pero no todo el mundo sabe exactamente lo que los conjuntos de datos en los medios finales. Taiwán es el concepto de los datos sobre los únicos fabricantes de altura sólo es necesario considerarlo? empresas ordinarias deben o no deben hacer en los datos de tabla? Los datos aparecerán en la tabla de los practicantes de datos existentes que desafía subversivo de la misma? Con los problemas anteriores, InfoQ entrevistado en la tecnología Lei Dafeng en los datos ThoughtWorks y director de inteligencia Shi Kai, para hablar de sus puntos de vista sobre los datos de la tabla.

Los datos en la tabla no es una plataforma de datos grande!

En primer lugar, no es una plataforma, no un sistema, si algunos fabricantes dicen que tienen una tabla de datos de vender, lo siento, es un mentiroso.

Para responder a la pregunta de lo que los conjuntos de datos que primero tenemos que explorar lo que en Taiwán en los que sí finales. Aunque no existe una definición clara, pero a medida que los hombres heterosexuales Politécnica, que puede ser visto como una primera etapa en la capa media. Dado que es una capa intermedia, entonces en Taiwán de hecho es totalmente una técnica para explorar el término técnico completo.

Podemos utilizar Pace capa de Gartner para entender por qué tiene que haber una capa intermedia, para que pueda entender mejor el posicionamiento y el valor de la tabla. Capa ritmo se ha mencionado, puede ser estratificado de acuerdo con el cambio de velocidad cosas, por lo que se puede desglosar y diseñar un límite razonable y los servicios.

En el desarrollo de datos, cambios en el modelo de datos central es relativamente lento, al mismo tiempo, la carga de trabajo de mantenimiento de datos es muy grande, pero la velocidad de la innovación empresarial, los cambios en la demanda de los datos presentados, es muy rápido.

Los datos aparecen en la tabla, sólo para compensar entre el desarrollo de datos y desarrollo de aplicaciones, debido a la velocidad de desarrollo de la fuerza de respuesta desajuste, mantener la apariencia de los problemas.

Los conjuntos de datos para resolver el problema se puede resumir en los siguientes tres puntos:

1. Eficiencia : ¿Por qué añadir un desarrollo de aplicaciones de informes, es necesario tiempo de diez días? ¿Por qué no se puede recomendar a los usuarios obtener la lista en tiempo real? Cuando la gente de negocios un poco de duda sobre los datos, se necesita mucho tiempo y encontró que se cambia la fuente de datos, el impacto final en la línea de tiempo.

2. Colaboración pregunta : Cuando el desarrollo de aplicaciones de negocio, y otros proyectos aunque la demanda más o menos similar, pero debido a que el otro equipo se mantiene, por lo que los datos todavía tienen que reconstruir de nuevo.

3. Los problemas de capacidad : el manejo de datos y el mantenimiento es relativamente independiente de la tecnología, requiere profesionales considerables al completo, pero muchas veces, tenemos una gran cantidad de desarrolladores de aplicaciones, muy pocos desarrolladores de datos.

Estos tres tipos de problemas se traducirá en más lenta equipo de desarrollo de aplicaciones. Esta es la clave de la tabla - dejar que la velocidad de desarrollo del equipo de recepción no se ve afectada por el desarrollo de datos de fondo.

Historia Kay concluyó que "los datos de la tabla se polimeriza y gestión de datos entre dominios, la extracción de datos empaquetados como servicios prestados a la mesa concepto lógico frente al valor del negocio."

Como se muestra a continuación:

DDATA API es los conjuntos de datos básicos, es el puente entre el primer plano y el fondo, proporcionada por los servicios de datos API, en lugar de directamente a la base de datos a la parte delantera, la recepción dejó que los desarrolladores pueden utilizar sus propios datos. En cuanto al proceso de generación de DataAPI, cómo hacer DataAPI productos más rápido, cómo hacer que la API de datos más claros, cómo hacer un mejor API de datos de calidad de los datos, que es la capacidad de ir alrededor de la mesa de datos construido.

La diferencia clave entre los conjuntos de datos y almacenamiento de datos, plataforma de datos

Este es un problema ahora, que a menudo discuten datos de la industria, ¿cuál es la diferencia en las unidades de almacenamiento de datos finales, plataforma de datos y datos Sí.

En pocas palabras, la diferencia clave entre los tres aspectos siguientes:

1. Los datos de la tabla es un concepto lógico de la clase empresarial, lo que refleja la capacidad D2V (datos de valor), la principal forma de API de servicios de datos de negocios;

2. Un almacén de datos es un concepto funcional relativamente específico, es una colección de uno o más temas de almacenamiento de datos y gestión, formas de proporcionar servicios a las empresas, principalmente los informes de análisis;

3. plataforma de integración de datos es una plataforma de base de datos de los datos estructurados y no estructurados para la prestación de servicios de negocio de una manera que aparece principalmente sobre la base de un gran conjunto de datos de los datos directamente;

4. Los conjuntos de datos de la empresa más cerca del negocio para ofrecer un servicio más rápido;

5. almacén de datos para el análisis de decisiones de gestión de apoyo, y los datos de la tabla aspirados los datos a los sistemas de negocios, no se limita al servicio de análisis de la escena después, sino también para la escena transaccional;

6. Los conjuntos de datos se pueden construir en la parte superior de la plataforma de almacenamiento de datos y datos, para acelerar el proceso de datos de la empresa a valor de negocio de la capa intermedia.

almacén de datos histórica, la mayor parte de los datos que se almacenan en los datos estructurados, que no es la cantidad total de datos de la empresa, pero de acuerdo a las necesidades de extracción de objetivo, y por lo tanto el valor del almacén de datos de negocios es una amplia variedad de informes, pero estos informes no se puede generar en tiempo real. Informes parte de almacenamiento de datos de la empresa, mientras que proporciona valor, pero no afectará directamente a la empresa.

plataforma de datos aparecido es resolver el almacén de datos no puede manejar el ciclo de desarrollo de largo plazo de los datos no estructurados y problemas de informes, primero a un lado las necesidades del negocio, todos los datos se extraen a hacer negocios juntos como un gran conjunto de datos, que incluye datos estructurados, los datos no estructurados. Cuando el lado de los negocios existe una demanda, entonces necesitan varios conjuntos de datos pequeños extraídos por separado, proporcionados en forma de un conjunto de datos para aplicaciones de datos.

Los datos de la tabla se basa en almacén de datos y plataforma de datos, basado en los datos para producir un servicio de la API de datos de una manera más eficiente prestación de servicios.

Los datos de la tabla deben tener calidad de qué?

Después de los grandes volúmenes de datos y los incendios de inteligencia artificial últimos años, muchas personas han estado mencionando un comunicado que "Los datos son el nuevo petróleo". Pero la historia del punto de vista de Kay es un tanto diferente, en su opinión, la información no es activos iguales en los datos , si no hay un plan de datos desde un punto de vista comercial, ninguna cantidad de datos no puede crear valor.

Shi Kai piensan los conjuntos de datos de activos de datos núcleo es un componente clave del directorio . "Creemos que los datos de la empresa para poder aprovechar al máximo, un requisito muy importante es la estructura de datos y datos activos del directorio de la empresa está abierta a toda la empresa. Por esto todo el mundo puede entender lo que los activos de la categoría directorio de la empresa los datos, lo que contenía los atributos, los cuales la gestión de datos de origen, por lo que puede averiguar rápidamente que los datos no son sus propias necesidades, pero los datos en sí puede no estar abierto, porque los datos son información privada y los niveles de seguridad ".

Muchos grandes negocios de la empresa, hay muchos negocios diferentes pueden duplicar los datos. El inventario llamado activo de datos es a los datos del modelo de de-duplicación, la normalización, el cardado, en un árbol, el árbol no se corresponden directamente con los campos de la base de datos. Para la carga de aire, por ejemplo, sus activos de datos puede incluir aviones de carga, aviones de pasajeros de la cabina auxiliar y un avión de carga que el nodo de un catálogo activo de datos, y varias propiedades de la aeronave de carga (tales como el modelo de carga, espacio, año, etc.) es este nodo el siguiente modelo de datos. Catálogo de datos activos que hacer es empezar desde el nivel operativo para desarrollar estándares de datos, los activos de datos extraídos relacionados con la empresa modelo de negocio, que es ahora de nuevo con lo que la base de datos para almacenar, qué estructura para almacenar, guardar como estructurada o no estructurada tanto no importa. Es equivalente a los negocios de la compañía hizo un peine desde el nivel de los datos, el idioma de la reducción de datos del modelo de negocio corporativo. Después de catálogo activos de datos a hacer, lo que está detrás de la tecnología, para asignar estos datos para extraer datos desde el directorio en el activo.

Además de abierta, inventario de activos de datos también debe tener una descripción de la etiqueta puede ser recuperada, con el fin de maximizar la comodidad de la gente realmente utilizar los datos lo más rápido encontrar lo que necesitan.

sistema de innovación magra en los datos de la empresa presentados en ThoughtWorks la necesidad de tener la capacidad de generalizar los datos para los siguientes seis, los seis tienen la capacidad, las empresas se han convertido en la base para la inteligencia empresarial basada en datos, y la capacidad de llevar a estas plataformas es conjuntos de datos:

1. Planificación y gestión de activos de datos

Antes de hacer la tabla, primero tiene que saber lo que el valor del negocio es pensar desde un punto de vista comercial cuáles son los activos de datos corporativos Sí. los activos de datos no son equivalentes a los datos, los datos es el único activo que puede generar valor de datos para el negocio. Por la misma pila de datos, los datos de diferentes unidades de negocio en cuestión pueden ser completamente diferentes indicadores, cómo hacer varios negocios entre dominios para convertirse en un estándar unificado, tenemos que planificar para panorámicas de datos de negocio, serán todos propensos a pasar toda la empresa hay potencialmente valiosos datos están planeando a cabo la broma último out catálogo activos de datos de negocios. En este momento no hay necesidad de considerar el sistema, no hay datos, sólo tiene que concentrarse en lo datos son valiosos para el negocio de la empresa. Esta capa no se recomienda demasiado delgada, demasiado delgada, es difícil formar una norma no puede aplicarse a las múltiples escenas. el gobierno de datos es una etapa muy importante en un campo de datos, ThoughtWorks cree en los límites actuales de negocios desaparecen, los cambios rápidos en la demanda, las empresas necesitan tener la capacidad de gobierno de datos Inclinarse Gobierno --Lean datos. Tradicional centralizada, el gobierno de datos antes controlado, para cambiar al descentralizada, gobernabilidad post-servicio estilo.

1. activos de adquisición y almacenamiento de datos

Los conjuntos de datos para proporcionar capacidades de gran alcance para los activos de datos empresariales adquiridos y almacenados.

 3. El intercambio de datos y la colaboración

empresas de datos en Taiwán deben estar entre dominios, es necesario que todos sepan donde el directorio de activos de datos. Debido a que los datos no es segura, no permita que los datos de cada uno sepa lo empresariales. Sin compartida y abrir el flujo de datos no hay manera, si no hay un valor de caudal de los datos generados será muy lenta. Por lo tanto, sobre la base de la seguridad de datos, catálogo corporativo activos de datos a las partes interesadas, los creadores de valor abren, dejar que los hombres de negocios pueden hacer "autoservicio".

  4. explorar y analizar el valor del negocio

Los conjuntos de datos única para establecer el acceso a los datos de origen, también tenemos que proporcionar las herramientas y la capacidad de analizar los datos a la gente de negocios ayuda a explorar y descubrir el valor de negocio de datos. A los datos de buena obligados a proporcionar herramientas de exploración y análisis de datos para un servicio personalizado para los usuarios de escritorio solución posiciones diferentes, y sobre la base de una API de datos de generación de claves, para proporcionar la diversificación al sistema frontal.

1. Construir y gestionar los servicios de datos

Los conjuntos de datos tienen que garantizar el rendimiento y la estabilidad, así como la calidad y la precisión de los servicios de datos de datos, pero también es necesario tener una fuerte capacidad de gestión de servicios. Los datos en la tabla es una plataforma ecológica en la tabla de datos en la parte superior de una variedad de servicios de datos seguirá creciendo, por lo que desde el primer momento a los servicios de datos acumulación buen gobierno es muy importante, los servicios de datos necesitan ser grabada, puede ser rastreado, lata auditada, que se puede controlar.

   6. métricas y los servicios de datos operacionales

Si los datos están en la etapa final únicamente a los datos para hacer el negocio, entonces es simplemente un portero papel. conjuntos de datos de capacidad también es necesario tener métricas y servicio de datos operativa puede ser proporcionada en el escenario de servicios de datos y el comportamiento relacionado y realizar un seguimiento de los registros, incluyendo los servicios de datos, que es el departamento con el número de segundo orden, a través de la cual medir cada el valor comercial de los servicios de datos.

Shi Kai cree que la tabla de datos es una necesidad de utilizar el pensamiento Internet para ejecutar una plataforma de centro de beneficios, los analistas de negocios, los conjuntos de datos tienen que analizar el negocio, para entender por qué esta mañana, este departamento financiero persona con los datos en la tabla, denominada veces diez en la tarde no lo hace, ¿qué razón se llama servicios de datos por lo general lo que se invocarán otros servicios de datos. Estos necesidad de hacer los registros correspondientes, hacer el registro para el análisis, los datos de maquillaje como el mismo que la plataforma de comercio electrónico para ejecutar, a continuación, datos en tiempo real sobre la base de estas prácticas comerciales para recordar proveedor de servicios de datos, ajustar, cambiar, servicio de datos Optimizar, el cual datos comerciales están disponibles en la tabla, la única manera de conseguir apoyo empresarial y la respuesta más rápida.

¿Por qué todo el mundo necesita una tabla de datos?

Los datos en la tabla no es la única empresa grande para requerir cosas en altura.

ThoughtWorks desde 2017 hasta la actualidad, ha ayudado a un número de grandes empresas nacionales y extranjeras en los datos de construcción de Taiwán, que tiene una enorme masa corporal de datos de la empresa de clase media, así como un cierto nivel de pequeños conjuntos de datos.

"En el futuro todas las empresas se convertirá en el negocio central de procesamiento de datos, y los datos en la tabla de datos es el valor de las plantas, por lo que todas las empresas tienen la capacidad de conjuntos de datos, conjuntos de datos deben ser el futuro de todas las configuraciones estándar de negocios ".

En la historia de la opinión Kai, la tabla de datos no significa plataforma de datos "grande". Dependiendo del tamaño de los conjuntos de datos empresariales y de negocios varían en tamaño, complejidad no puede la misma, pero el valor de su negocio generado es el mismo.

Cuando las compañías a evaluar si deben construir la estación de datos, se debe considerar de qué? Shi Kai pensar, desde un punto de vista estratégico, cada negocio tiene que establecer sus propios conjuntos de datos, desde un punto de vista táctico, cuando las empresas se encuentran en el desarrollo y la utilización de la velocidad de datos y desarrollo de aplicaciones de velocidad no coinciden, es necesario considerar la construcción de los conjuntos de datos.

Que muchas empresas hacer cuando el sistema de aplicación, tenga en cuenta nada que ver directamente con sencillo en arquitectura, una base de datos para hacer en primer lugar, y luego construir aplicaciones en la parte superior de. ThoughtWorks ahora se propone negocio, incluso si no está en la tabla de datos, no se creó un "conjuntos de datos" El proyecto se llama, pero se aplican, lo mejor que esta aplicación se divide en tres capas, la capa de servicio, la capa de datos en Taiwán, la capa de datos de origen, las aplicaciones hacen al principio del tiempo de poner a cabo tres niveles de abstracción.

La mala calidad de los datos para que los datos no se puede hacer en Taiwán? ¡No!

problemas de calidad de datos dejados por la historia por lo que a menudo cuestionan el uso y el valor de los datos. 2018, Shi Kai oye a menudo en el proceso de comunicación con diferentes empresas frase es, " no tenemos datos para utilizar este paso, porque (sistema de aplicación) calidad de los datos es demasiado pobre ."

Cada vez que escucho estas palabras, Shi Kai mente parecería escuchar otra palabra, "no es el tiempo para cultivar ah infantil, el niño es demasiado pequeño."

No es debido a la mala calidad de los datos, a no utilizar los datos. Precisamente porque no hacer las cosas por detrás, por lo que la calidad de los datos era pobre. Sino también debido a la mala calidad de los datos no puede dejarse de lado en el escenario de negocios, tratando de resolver completamente los problemas de calidad de datos, por lo que no soporta el sector empresarial no puede generar valor de negocio de trabajo de datos. Así ThoughtWorks uso propuesto hacer precisamente la aplicación, la empresa tiene que hacer, problemas de calidad de datos de direcciones síncronos.

Shi Kai cree que los problemas de calidad de datos, el problema fundamental es la falta de datos generales de planificación y datos llevan a pensar en el inicio de la creación de aplicaciones. Al comienzo de la clase proceso de generación de solicitud original, sólo tienen en cuenta cómo hacer que el proceso funcione, la falta de análisis de la aplicación de la colocación de datos en todo el panorama de la empresa (paisaje de Datos) en ningún Optimizar el almacenamiento de datos de la fuente, circulación, con el fin de mejores datos con otros sistemas para alinear calibre, lenguaje unificado, los problemas del proceso en el modelo abstracto del dominio del problema, entonces el modelo de dominio con el modelo abstracto de datos.

tabla de datos de construcción de Desafío

datos de construcción en la etapa temprana de los mayores retos es de resolver si hay una escena a partir del valor de negocio claro nivel operativo, así como los datos del panorama, y ​​no sólo en la última parte de la tecnología de la construcción.

 

Retos de la construcción de los conjuntos de datos incluyen:

• Cardado escenarios de negocio: encontrar la manera de generar conjuntos de datos de valor para el negocio.

• política prioritaria tabla de datos de construcción: grande y la demanda es probable, pero no podemos construir directamente grandes conjuntos de datos y medio debe ser requisitos prioridades en función de la importancia del negocio.

• el gobierno de datos: la independencia abierta y operativa de los pocos con éxito el gobierno de datos, estándares de datos tienen un directorio de datos (activos) de gran tamaño, los activos de datos de directorio por un total de latitud, modelo de negocio común extraída, los datos sobre esta base gobernabilidad requiere una estrecha integración con los escenarios de negocio.

  Construcción de dos conjuntos de datos que se necesita paciencia estratégica

Con el fin de acelerar los datos de la tabla se genera a partir de los datos de valor de negocio velocidad, pero su proceso de producción necesita tiempo, mucho trabajo complicado de hacer, por lo que los datos para el lado de la construcción de los inversores taiwaneses en Taiwan y datos a por ejemplo, necesitamos una paciencia estratégica correspondiente.

• Para los inversores preocupados, tenemos que comprender plenamente el valor y las limitaciones del proyecto de la clase tabla de datos. En la actual estructura organizativa y la madurez de la tecnología, la tabla de datos sigue siendo una plataforma tecnológica para la generación de valor para el negocio es un proceso acelerado. Pero la demanda de negocios de datos no será a causa de los conjuntos de datos reducidos, los conjuntos de datos no son un sueño, no puede cambiar arbitrariamente una variedad de servicios de negocio que desea. Esto sigue siendo una necesidad de una planificación global, ágil iterativo, la evolución sistemática del proyecto de construcción, por lo que la necesidad de manejar las expectativas, hay algo de paciencia estratégica.

• Para que respecta al lado de la construcción, hay que comprender plenamente la complejidad de los conjuntos de datos del edificio, no corra, no espere a la vez. consejos Shi Kai es empezar poco a poco en Taiwán, en torno a escenarios de negocio específicos para construir valioso, lo más lejos posible, sin apartarse de la escena a participar en un ciclo largo, plataforma grande y pura herramienta.

  Los datos en la tabla pueden ser pequeño y hermoso

  Las consideraciones clave en la construcción de la tabla de datos consta de dos aspectos.

En primer lugar, los conjuntos de datos deben estar alineados con el valor del negocio. La construcción de los conjuntos de datos, lo más importante no es la tecnología, ni tampoco es una buena calidad de los datos no es bueno, pero los datos son datos culturales y de pensamiento. Datos es establecer una forma de pensar desde la perspectiva de los datos a pensar en el problema, los datos es llevar la cultura de datos y la empresa en su conjunto para ver, en lugar de sólo los datos como una herramienta de apoyo. Pensar con claridad las demandas del negocio de datos es el primer paso en la construcción de una tabla de datos, incluso si es temporalmente incapaz de pensar demasiado delgada, sino también para pensar, para pensar con claridad que no lo haga primero.

No desactive en el escenario de negocio, la prioridad no es clara, el sistema métrico valor no se ha establecido cuando, sobre la creación de la plataforma de datos grande y amplia, y todos los datos se guardan. Las empresas están llevando a cabo la relación de entrada-salida de la plataforma de datos grande y amplia menudo se enfrentan a una situación embarazosa, un montón de miradas característica muy útil, debe ser capaz de pasar, pero la falta de escenarios de aplicación, realmente tener una escena, también se encuentran no fuera de la caja, sino también un gran número de personalización.

En segundo lugar, los datos de los conjuntos de datos deben ser pequeños, empezar poco a poco la escena.

Los conjuntos de datos son más que orientado a la tecnología orientada a la escena, y las empresas en fase de negocio, construcción y desarrollo de tecnologías de este cliente tiene una estrecha correlación de infraestructura de negocios, es difícil comprar un gran e integrales productos para resolver de una vez por todas a.

Esto puede explicarse por el siguiente cuadro en la figura principio de construcción:

En un principio la necesidad de diseño de nivel superior, visión empresarial para el desarrollo de un plan general en Taiwán, una especie de innovación global de datos plano panorámico, que es la parte del marco negro de la parte izquierda de la figura, la expulsión de todos los escenarios de negocio explorados por la visión de negocio, con lo deducido conjuntos de arquitectura Panorama de datos, soporte técnico.

Pero cuando se implementa, a partir de un escenario de negocio específico. conjuntos de datos de gran valor de la escena para empezar, y luego a lo largo de la escena de corte vertical, encontrar un panorama de los datos o múltiples conjuntos de datos, los datos de la escena de aterrizaje pequeña, con el fin de verificar rápidamente el valor. Consideración grande, el pull-through general, para evitar islas de datos posteriores, pero cortada en conjunto pequeño de datos, a partir de un escenario de alto puede ser realizado. A continuación, una escena hecho, el valor del negocio y también la capacidad de estación de sincronización establecida.

En general, es decir, "la etapa de diseño para ir hacia los lados, embarcadero cortan verticalmente."

Los conjuntos de datos y la selección del equipo técnico

Los datos en grupos de tablas típicamente incluyen las siguientes funciones:

• Negocios equipo de expertos: la comprensión del negocio, cardado escenarios de negocio, determinar una correspondencia entre los activos de datos y escenarios de negocio, determinar la prioridad de los escenarios de negocio, proporcionan la base para la construcción de la tabla de datos.

• El Equipo Datos Ingeniería: Construcción y mantenimiento de conjuntos de datos, incluyendo ETL, adquisición de datos y conjuntos de datos para garantizar un rendimiento y estabilidad, utilice la herramienta mesa para la recogida, almacenamiento, procesamiento, manejo de datos.

• equipo de análisis de datos: el valor del análisis de datos para explorar las escenas, la producción de más servicios de datos.

• Datos del equipo de gobierno: los estándares de datos peine, especificaciones de los componentes de seguridad de datos y privacidad, el uso de herramientas de código abierto de gestión de centro de datos de movimiento (como atlas, wherehows) para resolver escenarios de negocio en torno a la calidad de datos y problemas de seguridad.

• Equipo algoritmos inteligentes: análisis de datos, inteligencia empresarial y algoritmos para proporcionar herramienta de exploración.

Y tal obra equipo constituye una línea de datos, un dato de la fábrica de servicios de negocio del servicio de datos, la fábrica cuenta con un taller de producción (canalización de datos), R & D Center (datos de laboratorio), Oficina de Gestión (gobierno de datos), allí los productos Centro (almacenamiento de datos de servicio).

Datos de fábrica es un concepto lógico, no es un producto grande y amplia, ThoughtWorks combinados con la práctica en los últimos años de datos ofrece una selección de componentes de la instalación de la arquitectura de referencia, la arquitectura y componentes de estas recomendaciones, muchos de los cuales se reflejan ThoughtWorks lanzados en el pasado la tecnología de radar y se explica en detalle como sigue:

Aparecer en la tabla de datos para el desafío equipo de datos existentes

Como ya se ha mencionado, los datos en la tabla es la fábrica API de datos de la compañía, la más eficiente y acelerar el valor de negocio de sus datos a una forma más coordinada, puede proporcionar una mayor capacidad de respuesta a la empresa. Por lo tanto, los datos de las unidades de negocio más estrechas, lo que para los servicios de datos empresariales tradicionales se refiere, es un cambio significativo a los datos originales al mismo tiempo, el equipo va a ser un desafío enorme.

 1. Los datos requeridos para los analistas de negocios aumentaron

los datos tradicionales de la empresa y clara división de trabajo operativo del trabajo, límites claros, empresarios responsables de los requisitos de negocio propuestos problemas empresariales y de negocio desglosado en una serie de problemas claros de datos, ingenieros y analistas de datos y los datos en este problema claro en virtud de la resolución de problemas.

Sin embargo, después de que aparezcan los datos de la tabla, la tabla de datos es una plataforma que permite, se precipitará, proporcionamos una gran cantidad de herramientas de análisis de datos y servicios de datos que permite a las personas de negocios no tienen las capacidades de datos profesionales también pueden hacer algunos análisis de datos simple, generar el conocimiento del negocio. Esto significa que con el apoyo de los datos de la tabla, relativamente sencillo problema de negocio será más clara por la gente de negocios a sí mismos para deshacerse de, a continuación, los datos se transmiten a la cuestión del personal profesional, que serán los problemas más complejos. Esta capacidad de entender los datos de negocio para reforzar la plantilla, él / ella debe tener la capacidad de entender rápidamente el negocio, para poder reflejar el profesionalismo y la superioridad.

 2. Para las capacidades de ingeniería necesarias para mejorar los datos del personal

El análisis de los datos originales pertenecen a las obras individuales, cada uno de los científicos de datos, analistas de datos es una unidad independiente del trabajo, el problema de negocio sector empresarial determinado, dan buenos resultados a través de sus herramientas y métodos familiares. Pero después de la tabla aparecen los datos, mientras que consiguen más armas y herramientas para el análisis de datos, sea capaz de pararse sobre la base de los trabajos previos para mejorar la eficiencia y precisión, por otro lado, también necesitan saber más herramientas de análisis de datos de la plataforma, tales como Jupyter Notebook, sino también por los resultados de su análisis requiere la capacidad de ser convertido en servicios de datos, el precipitado en la estación.

 3. equipo de datos tiene que tener más de un punto de vista comercial

El equipo de análisis de datos original es un equipo funcional, más que existen unos datos de grupo de reflexión. En la mayoría de los casos, relativamente lejos del negocio, por no hablar de la responsabilidad de los resultados del negocio. Y después de que los datos aparecen en la tabla, los datos de la empresa serán cada vez más cerca de la mesa, e incluso un impacto directo en la tarea de dirigir involucrados, el equipo de datos poco a poco desde el grupo de reflexión de los datos de identidad, de manera gradual desde la parte trasera a la delantera, directamente responsable de uno servicios de datos y servicios de datos están directamente involucrados en el negocio que genera valor para el negocio. Tales cambios de posición, requieren equipo de datos tiene más punto de vista comercial, para ser más enfoque en el valor del negocio, los objetivos de negocio directamente alineados con el trabajo.

Por lo tanto, los datos aparecen en la tabla, no sólo una plataforma tecnológica para las empresas es un trabajo sistemático, datos de la empresa relacionadas con los procesos, las responsabilidades, la división del trabajo deben tener un ajuste correspondiente con el fin de alcanzar el objetivo general.

Los conjuntos de datos y los datos actuales de privacidad

Para los conjuntos de datos, los datos de la privacidad y la seguridad es un tema muy importante. Muchas personas pueden recordar hace unos días en respuesta a Ma para la "teoría de conjuntos de datos Tencent". El año pasado, Tencent proceso de reestructuración de la organización para lograr la tecnología para conseguir a través, pero para abrir los datos se mantienen cautelosos. Ma respondió "tabla de datos en" 18 de noviembre de la Conferencia Mundial de Internet: "Tencent no puede aplicar la práctica de muchas otras empresas, los datos directamente a cualquier abierta porque dentro de nuestra plataforma, una gran cantidad de personas son todas las personas. la comunicación, el comportamiento social entre los datos, si los datos se pueden obtener a través de la empresa o de unidades de negocio con los clientes externos, que traerá consecuencias desastrosas. queremos ser más cauteloso en este sentido, queremos que la perspectiva del usuario tener en cuenta la protección de la información personal y los datos dado prioridad. "mucha gente no hace estos datos se interpretan como Tencent Taiwán, Shi Kai no lo creo.

En su opinión, la respuesta de Tencent no quiere decir que no hacen conjuntos de datos, pero hizo hincapié en la necesidad de hacer más trabajo sobre la privacidad de datos. De hecho, toda la seguridad y privacidad de datos necesidades de la escena. Shi Kai cree que "no desde la privacidad de datos pura perspectiva de los datos, la privacidad de datos no está fuera de la escena." Si es puramente desde el nivel de datos, no desde el nivel de escenarios de negocio para gestionar la privacidad de datos, traerá los dos temas, o datos gestionada valor de negocio de productos muy muerto, obstaculizado, o la gestión de la privacidad de datos será lagunas.

Shi Kai citó un ejemplo, como la que estamos hablando de datos de transacción de usuario, si el usuario no está asociado información básica, datos de la transacción en sí no está disponible para los usuarios de los riesgos de privacidad, ya que no está asociado con ningún usuario individual. Por lo tanto, el usuario puede analizar los datos de transacción y el uso de la desensibilización.

Por otro lado, si los datos de la escena para hablar acerca de la privacidad, sino que también puede dar lugar a la negligencia de los posibles problemas de seguridad. A veces, si no está asociada con la escena, que no parecía posible problema de seguridad de dos datos, pero, de hecho, estos dos extraños asociar los datos de valor generado. Es por esto que en el principio, es imperativo que todas las escenas, de todos los análisis tanto como sea posible.

Además, establecer permisos, auditoría de clasificación de datos, de nivel de biblioteca desensibilización datos son todos los medios posibles para mejorar la seguridad de los datos. conjuntos de datos modernos deben tener un mecanismo para controlar y registrar el comportamiento de los datos de la llamada, que a su vez puede mejorar la protección de la seguridad de datos y privacidad.

El siguiente paso en la tabla de datos

Muchas empresas en el país y en el extranjero han comenzado a invertir en la construcción de la tabla de datos, que estamos más familiarizados, incluyendo Ali, Huawei, Lenovo, Hainan Airlines, SAIC, Shell y así sucesivamente.

En la historia de la opinión Kai, los conjuntos de datos actualmente en el desarrollo de subida. Aunque los conjuntos de datos futuro no pueden también ser llamados conjuntos de datos, pero será necesario negocio de componentes básicos.

El mundo se desarrolla a partir de la tecnología de la información digital. Tecnología de la información significa que la mayoría de los trabajos realizados en el mundo físico, entonces resolver una pequeña parte del problema con el mundo digital de la carta de los ordenadores. Digital es el hombre movido al mundo digital desde el mundo físico. Desde esta perspectiva, los datos de la tabla para restaurar el mundo físico se convertirá en un negocio en el mundo digital.

Los datos en la tabla se diseñó originalmente para separar el cálculo y almacenamiento, en menor medida, el núcleo real de los datos de la tabla no se puede almacenar. Pero en la situación actual, la tabla de datos generalizada en el próximo período de tiempo se seguirá cubriendo el almacenamiento de datos, componentes de almacenamiento de datos, tales como el lago, "fábrica de datos" concepto pueden ser más aplicables a la etapa actual. Pero con el desarrollo de conjuntos de datos, el futuro es probable que ya no es necesario el lago de datos.

Por último, Shi Kai Ali también menciona otra estrategia en Taiwán en Taiwán - "negocio en Taiwán." Dijo que "el comercio en tiempo real de las unidades de negocio actuales más parciales, por debajo de la empresa precipitación; conjuntos de datos actualmente más parciales análisis, comprensión y la toma de decisiones, para el negocio de proporcionar servicios de datos T + N y T + 0, pero luego avanzar caminar, los conjuntos de datos poco a poco junto con la Feria más de cerca. como potencia de cálculo está creciendo, y el ulterior desarrollo de la arquitectura micro-servicios, unidades de negocio y las unidades de datos se puede integrar en el futuro ".

 

- El fin -