Autor: Zen y el arte de la programación informática
1. Introducción
Como infraestructura importante para los datos comerciales, la plataforma de datos proporciona servicios de datos y capacidades analíticas que se han convertido en la clave para que varios departamentos de la empresa trabajen juntos, se comuniquen de manera eficiente y mejoren la eficiencia del trabajo. Sin embargo, debido a la influencia de varios factores, como las diferencias en las necesidades de diferentes industrias y diferentes escalas y complejidades de datos, la creación de una plataforma de alta calidad, baja latencia, fácil de expandir, confiable, segura y fácil de El uso de plataformas de datos también enfrenta enormes desafíos. En los últimos años, con la popularización de la computación en la nube, la tecnología de contenedores y la arquitectura de microservicios, la necesidad de construir una plataforma de datos basada en soluciones de código abierto ha atraído cada vez más atención por parte de la sociedad. El costo de construir una plataforma de datos es cada vez menor y más bajos y la competencia en el mercado es cada vez más feroz. Este artículo llevará a los lectores de 0 a 1 a experimentar algunos puntos clave en el proceso de construcción de una plataforma de datos de código abierto, incluida la selección de varios componentes de la plataforma de datos de código abierto, la recopilación, el almacenamiento, el procesamiento, el análisis, la visualización y el monitoreo de datos. , seguridad, gestión, etc. Al compartir los obstáculos y las lecciones aprendidas por el autor en la práctica, espero ayudar a más personas a comenzar rápidamente y dominar las habilidades para construir una plataforma de datos de código abierto.
2. Marco de plataforma de datos de código abierto
Primero, clasifiquemos los componentes principales involucrados en la construcción de una plataforma de datos de código abierto. Los siguientes son los componentes principales de la plataforma de datos:
(1) Módulo de recopilación de datos: responsable de recopilar datos originales, como registros de bases de datos, tráfico de red, registros de servidores, interfaces de terceros, etc.; (2)
Módulo de transmisión de datos: responsable de transferir los datos recopilados a través de Transmitir a módulos posteriores de varias maneras;
(3) Módulo de almacenamiento de datos: Responsable del almacenamiento persistente de datos para su posterior análisis y consulta; (
4) Módulo de conversión y limpieza de datos: Responsable de limpiar y convertir los datos originales para que sea coherente con los requisitos de los módulos posteriores;
(5) Módulo de cálculo de datos: responsable de calcular los datos anteriores, incluida la agregación de datos, estadísticas, clasificación, etc.; (
6) Módulo de visualización de informes de datos: