El desarrollo de Big Data es un campo técnico que implica el procesamiento y análisis de datos a gran escala. Con el desarrollo y la aplicación continuos de la tecnología de Big Data, la demanda de desarrolladores de Big Data está aumentando gradualmente. Las perspectivas laborales son relativamente buenas, especialmente en las industrias tecnológicas y las empresas basadas en datos. Las perspectivas del desarrollo de big data todavía tienen muchas ventajas, como un amplio alcance laboral, altos salarios y beneficios, buena empresa y beneficios privados, etc. Ahora hay muchos amigos que quieren unirse al círculo de desarrollo de big data, pero no lo hacen. Sé cómo aprender. No sé cómo aprender. En respuesta a este problema, hoy compartiré con ustedes una hoja de ruta de aprendizaje de big data:
La hoja de ruta se divide en 7 etapas:
Fase 1: Base del almacén de datos
1.Base de datos relacional MysQL
(Introducción a MySQL, instalación de MySQL, sintaxis básica de MySQL, sintaxis avanzada de MySQL, arquitectura del sistema MySQL, motor de almacenamiento MySQL, índice MySQL, copia de seguridad y recuperación de MySQL, maestro-esclavo MySQL, replicación maestro-maestro, procedimientos almacenados MySQL, base de datos y tabla MySQL, Caso completo de MySQL, optimización del rendimiento de MySQL)
2.Tecnología de programación Python
(Introducción a la sintaxis básica de Python, bucles de Python, colecciones de Python, funciones de Python, operaciones de Python orientadas a objetos y operaciones de Python en varias bases de datos)
Fase 2: Linux y Hadoop
1.Hadoop
(Introducción a Big Data, conjunto de tres piezas de Hadoop, arquitectura del sistema HDFS, bloque HDFS, HDFS FSImage y ediciones del punto de control HDFS,
proceso de lectura y escritura de HDFS, operación de HDFS Shell, arquitectura del sistema YARN, estrategia de programación de recursos YARN, configuración de programación YARN, YARN -envío de trabajo basado)
2.Sistema operativo Linux
(Operación de comandos, gestión de permisos, instalación de software, análisis del núcleo del sistema)
3.Programación de scripts de Shell
(Introducción al shell, sintaxis básica del shell, sintaxis avanzada del shell, casos de programación del shell)
Fase 3: almacenamiento de datos y tecnología ETL
1.colmena
(Introducción a Hive, instalación e implementación de Hive, metadatos de Hive, tablas internas y externas de Hive, tipos de datos de Hive, SQL básico de Hive, partición de Hive, agrupación de Hive, SQL avanzado de Hive, funciones integradas de uso común de Hive, funciones de ventana de Hive, Hive función de personalización)
2.Datos
(Descripción general de DataX30, diseño del marco DataX3.0, sistema de complemento DataX3.0, arquitectura central de DataX3.0, seis ventajas principales de DataX3.0, complemento DataX Reader, complemento DataX Writer, caso de sincronización de datos DataX, DataX optimización de la sincronización de datos)
3.Tono
(Descripción general de Hue, arquitectura del sistema Hue, conector Hue, editor Hue, funcionamiento de Hue)
4.Haga clic en Casa
(Características y rendimiento, instalación e implementación de clústeres, operaciones básicas de clústeres, tipos de datos, motor de tablas de base de datos de ClickHouse, funciones comunes de ClickHouse, columnas, campos y tipos de datos, bloques y secuencias de bloques, analizador e intérprete, fragmentación y copia, herramientas de cliente)
5.Programador de delfines
(Introducción a DolphinScheduler, características de DolphinScheduler, arquitectura del sistema DolphinScheduler, proceso de inicio de DolphinScheduler, ideas de diseño de arquitectura DolphinScheduler, instalación e implementación de DolphinScheduler, proyectos de programación de DolphinScheduler, tareas de programación de DolphinScheduler)
6. Tecnología de almacenamiento de datos
(Descripción general del almacén de datos, arquitectura del almacén de datos, modelado de datos, tablas de hechos y tablas de dimensiones, áreas temáticas y temas, tablas zip, arquitectura multidimensional, especificaciones del almacén de datos, gestión de metadatos, almacenes de datos fuera de línea y en tiempo real)
7.Proyecto de almacén de datos minorista
(Introducción al proyecto, arquitectura técnica, arquitectura del proyecto, proceso del proyecto, implementación y despliegue del proyecto)
8.Canal
(Introducción a Flume, arquitectura del sistema Flume, componentes de Flume, fuente de Flume, canal de Flume, fregadero de Flume, interceptor de Flume, selector de Flume, casos de Flume, optimización de Flume)
9.SparkSQL
(Introducción a Spark, introducción a SparkSQL, abstracción de datos de SparkSQL, carga de datos de SparkSQL, implementación de datos de SparkSQL, funciones integradas de SparkSQL, funciones personalizadas de SparkSQL, integración de SparkSQL y Hive, proceso de ejecución subyacente de SparkSQL)
Fase 4: Análisis y visualización de datos de BI
1. Proyecto de plataforma de datos de BI para minoristas
(Introducción del proyecto, tecnología del proyecto, proceso del proyecto, investigación, desarrollo e implementación del proyecto)
2.Superconjunto
(Descripción general de Superconjunto, instalación e implementación de Superconjunto, fuente de datos de Superconjunto, Gráficos de Superconjunto, Paneles de control de Superconjunto, SOL-Lab de Superconjunto, visualización de mapas de Superconjunto, caso de informe de Superconjunto, caso de pantalla grande de Superconjunto, gestión de permisos de Superconjunto)
3.FineBI y FineReport
(Introducción a Fanruan, instalación, implementación y puesta en marcha, configuración inicial, primera introducción a FineBI, dichos de FineBI, integración de FineBI y fuentes de datos, procesamiento de datos, creación de gráficos y análisis de datos, paneles de control e intercambio, aplicaciones de funciones, modelos de análisis de datos, datos procesamiento Interactuar y vincular componentes con cálculos, tablas y gráficos, salto y exploración de datos, división y filtrado de datos)
Etapa 5-Proyecto de autoinvestigación
1. Proyecto de almacén de datos de desarrollo propio
(Proyecto de almacén de datos de investigación propia, proyecto de plataforma de big data de aprendizaje en la nube, proyecto de retrato de usuario de aprendizaje en la nube, proyecto de plataforma de big data de comercio electrónico, plataforma de big data de preguntas y respuestas)
procesamiento y cálculo, interacción de componentes de tablas y gráficos y vinculación de componentes, salto y exploración de datos, división y filtrado de datos)
Etapa 6: Sprint de empleo
1. Explicación de las preguntas de entrevistas más frecuentes
(Optimización del rendimiento de MySQL, preguntas de entrevistas de alta frecuencia de Linux, solución de archivos pequeños HDFS, optimización de YARN, solución de sesgo de datos de Hive, preguntas de escenarios de SQL de alta frecuencia, principio de ejecución de SparkSQL, optimización del rendimiento de SparkSQL, preguntas de entrevistas de alta frecuencia del almacén de datos, rendimiento de BI optimización)
2. Reanudar la orientación
(Preguntas de entrevistas de alta frecuencia de Linux, solución de archivos pequeños HDFS, optimización de YARN, solución de sesgo de datos de Hive, preguntas de escenarios de SQL de alta frecuencia)
Etapa 7 - Desarrollo del tema
1. Temas de gobernanza y calidad de los datos
(Introducción a la calidad de datos, introducción a la gobernanza de datos, introducción a la gestión de metadatos, introducción al linaje de datos, caso de calidad basado en DolphinScheduler, caso de calidad y gobernanza de datos basado en Atlas)
2. Tema especial del servicio Alibaba Cloud Big Data
(Introducción a los servicios de big data de Alibaba Cloud, componentes DataWorks y MaxCompute, integración de datos de Alibaba Cloud y otros componentes comunes, desarrollo de datos fuera de línea, programación de tareas)
Lo anterior es la ruta de aprendizaje de big data. ¡Espero que pueda ayudar a los amigos que están aprendiendo big data o que quieran aprender big data!