En los últimos años, cada vez más personas eligen la industria de big data. Las perspectivas de la industria de big data son buenas y los salarios son buenos. La demanda de talentos de big data en las grandes empresas aumenta constantemente.
El campo de big data es muy amplio: ya sea en el campo de la tecnología, la industria alimentaria o la industria minorista, se necesitan talentos de big data para procesar big data para brindar una mejor experiencia de usuario, optimizar el inventario y reducir las necesidades de previsión de costos.
¿Qué hace el desarrollo de big data?
Hay dos tipos de desarrollo de big data: escribir aplicaciones Hadoop y Spark y desarrollar el propio sistema de procesamiento de big data. El ingeniero de desarrollo de big data es el principal responsable del desarrollo y mantenimiento de la plataforma de big data de la empresa, el diseño de arquitectura y el desarrollo de productos de plataformas de herramientas relacionadas, el análisis de big data de registros de red, la computación en tiempo real y la computación en streaming, la visualización de datos y otras investigaciones tecnológicas. y desarrollo, y construcción de temas de negocios de seguridad de red.
Habilidades necesarias para el desarrollo de big data:
Los lenguajes que actualmente participan en el desarrollo de aplicaciones de big data incluyen Java, Python, Scala, R, etc. Es necesario estar familiarizado con los principios y métodos de uso de Hadoop, HBbase, hive, spark, Flink, ES, Presto. Ecología, Flume y Kafka, y desarrollo de datos maestros y minería de datos de diversos procesos.
Si desea cumplir con los estándares laborales de la empresa, la educación, la experiencia laboral y el dominio de las habilidades son muy importantes ~
Veamos primero los datos de los informes de varios sitios web de contratación:
-
Publicado por Boss Zhipin, el crecimiento de la demanda de big data de datos de contratación de esta primavera ocupa el segundo lugar
-
Liepin publicó los cinco campos con el crecimiento interanual más rápido en nuevos empleos desde 2019. Los cinco principales son: inteligencia artificial, manufactura, big data, atención médica y protección energética y ambiental.
-
El "Libro Blanco 2020 sobre el desarrollo de la industria de Big Data de China" muestra que en 2019, la escala de la industria de Big Data de China alcanzó los 539.700 millones de yuanes, un aumento interanual del 23,1%, y luego creció de manera constante. superar el billón de yuanes en 2022.
-
Según los resultados estadísticos de LinkedIn, CCID Think Tank, Lagou.com y otras instituciones, la brecha general de talentos en datos en la era del big data está mostrando un estado de intensificación creciente. En los últimos tres años, la brecha de talento en datos ha aumentado en 500.000 personas por año. Se estima que en 2022, después de que los graduados universitarios con especialización en big data ingresen al mercado laboral a gran escala, la tasa de crecimiento de la brecha general aumentará desacelerar, pero esta brecha seguirá existiendo durante mucho tiempo.
La contratación está disponible, pero los solicitantes a menudo encuentran varios problemas para encontrar un trabajo debido a sus calificaciones académicas y experiencia laboral. Entonces, ¿cuál es la situación específica de los desarrolladores que se han involucrado en big data ahora? Veamos los siguientes aspectos:
1. Nivel académico
Desde la perspectiva del nivel educativo, el nivel educativo de los talentos de big data de mi país se divide en 4 categorías, a saber, maestría y superiores, licenciatura, universidad junior y universidad junior, entre las cuales los talentos de big data con licenciatura son los más , que representa hasta el 65,45%, seguido de los títulos de maestría y superiores, y los talentos de big data con títulos universitarios o inferiores representan solo una pequeña parte. Se puede ver que la industria de big data, como industria emergente, generalmente tiene requisitos educativos relativamente altos para los talentos.
2. Fuente profesional
En términos de fuentes profesionales, las fuentes profesionales de talentos de big data en mi país se componen principalmente de cuatro categorías principales: matemáticas y ciencias, gestión económica, informática y otras especialidades, de las cuales la informática representa la mayor proporción, seguida de las matemáticas y ciencia.
3. Fuente del canal
Las fuentes de canal de talentos de big data se dividen en cuatro categorías, a saber, reclutamiento escolar, reclutamiento social, capacitación y recomendación interna y reclutamiento de instituciones de capacitación. Consulte la figura siguiente para conocer el número y la proporción de las fuentes de talentos de big data en las empresas.
Entre ellos, el reclutamiento social representa la mayor proporción, que es superior a la suma del reclutamiento escolar, la formación y promoción interna y el reclutamiento de instituciones de formación. En la actualidad, se basa principalmente en el reclutamiento social, lo que demuestra que la educación escolar no está en contacto con las necesidades sociales y que la formación y la formación internas no pueden satisfacer las necesidades laborales.
4. Distribución del nivel salarial
En la actualidad, los salarios de los talentos de big data se encuentran en un nivel relativamente alto. Los salarios inferiores a 10.000 yuanes representaron el 34,6% del total; entre 10.000 y 20.000 yuanes representaron el 35,64%; y los superiores a 20.000 yuanes representaron el 29,77%.
5. Tipo y número de publicaciones
En la actualidad, los puestos de big data ofrecidos por las empresas se pueden dividir en las siguientes categorías según los requisitos de contenido del trabajo:
① Categoría de análisis principal, incluidos analistas de datos comerciales, analistas de datos comerciales, etc.
② Algoritmos de minería, incluidos ingenieros de minería de datos, ingenieros de aprendizaje automático, ingenieros de aprendizaje profundo, ingenieros de algoritmos, ingenieros de inteligencia artificial, científicos de datos, etc.
③ Desarrollo y mantenimiento, incluidos ingenieros de desarrollo de big data, ingenieros de arquitectura de big data, ingenieros de operación y mantenimiento de big data, ingenieros de visualización de datos, ingenieros de adquisición de datos, administradores de bases de datos, etc.
④ Categoría de operación de productos, incluido gerente de operaciones de datos, gerente de productos de datos, gerente de proyectos de datos, ventas de big data, etc. El número y la proporción de los cuatro tipos de puestos se muestran en la siguiente figura.
La demanda de big data está aumentando y el país también está abriendo empleos relacionados, que han aumentado año tras año desde 2018.
En este momento, los estudiantes y padres que solicitan ingreso a la universidad también están muy interesados en big data y la inteligencia artificial. Big data ha entrado en el top 5 durante tres años consecutivos y todo lo que se requiere es una licenciatura.
En los próximos años previsibles, esta será realmente una industria en alza y ahora existe una gran brecha.
Entonces, si quieres saber qué tipo de trabajo puedes encontrar en el futuro y el salario del trabajo, déjanos mostrártelo en forma de datos ~
Luego abra el empleo directo de Boss, busque ingenieros de big data:
hagamos análisis de datos:
La columna de salario tiene un salario mínimo y un salario máximo. Comparamos y analizamos diferentes ciudades y encontramos que Beijing tiene el nivel salarial más alto, siendo el más bajo 22k y el más alto 38k.
Los años de trabajo también son un factor importante que restringe los niveles salariales. Como se puede ver en la figura, incluso si acaba de graduarse, puede alcanzar un rango salarial de 11 a 20 mil.
En cuanto a los requisitos educativos, la mayoría son estudiantes universitarios, seguidos por colegios universitarios y maestrías, y otros son tan pocos que no se muestran en el gráfico. 
La mayoría de los requisitos de las empresas para diferentes puestos son de 3 a 5 años. Por supuesto, las empresas necesitan empleados con cierta experiencia laboral, pero en la contratación real, si usted tiene experiencia en proyectos y no tiene problemas con los conocimientos teóricos, las empresas relajarán las condiciones.
Al analizar diferentes industrias, encontramos que la demanda de trabajos de big data se distribuye en todos los ámbitos de la vida, principalmente en software e Internet, y también puede estar determinada por este software de contratación. Después de todo, el empleo directo de Boss todavía se encuentra principalmente en la industria de Internet.
Echemos un vistazo a qué empresas están contratando para puestos relacionados con big data: a juzgar por el número de más de 15, Huawei, Tencent, Ali, Byte, estas grandes empresas todavía tienen una gran demanda para este puesto.
Entonces, ¿qué habilidades requieren estos trabajos? Spark, Hadoop, almacén de datos, Python, SQL, Mapreduce, Hbase, etc.
Según la situación del desarrollo nacional, las perspectivas de desarrollo futuro de big data serán muy buenas. Desde que las empresas comenzaron la transformación digital en 2018, las ciudades de primer y segundo nivel tienen una demanda muy fuerte de talentos en el campo de big data. En los próximos años, la demanda de talentos en las ciudades de tercer y cuarto nivel también aumentará aumentar significativamente.
Ruta y recursos de aprendizaje de big data:
Primeros pasos: Primeros pasos con Linux → MySQL Database
Core Foundation: Hadoop
Data Warehouse Technology: Hive Data Warehouse Project
PB Memory Computing: Primeros pasos con Python → Advanced Python → pyspark Framework → Hive+Spark Project
Antes de elegir una institución de formación, primero puede aprender los conceptos básicos de big data para ver si puede dominarlos ~
Este conjunto de tutoriales cubre todo lo que se debe aprender en big data.
Hadoop, Hive, proyectos prácticos de plataforma en la nube.
Deje que los estudiantes de base cero comiencen en una sola parada
Tecnología central directa de big data
Este nuevo conjunto de tutoriales de big data se basa en Hadoop, Hive, la plataforma en la nube y otras tecnologías para llevarlo al campo de big data de superficial a profundo y experimentar juntos el encanto de la computación de datos a gran escala.
Basado en el diseño de contenido del aprendizaje de base cero, proporciona una gran cantidad de puntos de conocimiento complementarios para que los estudiantes de base cero realicen un aprendizaje previo.
Como nuevo curso introductorio a big data en 2023, el contenido del curso adopta un nuevo sistema de pila de tecnología. Basado en las plataformas en la nube Hadoop3.3.4, Hive 3.1.3, Alibaba Cloud y UCloud, un curso introductorio para que los estudiantes creen un ecosistema Hadoop de big data, pero no solo Hadoop.
características del curso
• Combinación perfecta de teoría + práctica: este conjunto de tutoriales utiliza la forma de "teoría + práctica" para presentar de manera integral el conocimiento relevante del desarrollo fuera de línea de Big Data Hadoop y Hive;
• Contenido y profundidad: el curso adopta el diseño de contenido de "introducción + mejora", el conocimiento introductorio y el conocimiento avanzado son independientes entre sí, primero una introducción integral, luego un avance integral, paso a paso para que todos puedan aprender algo;
• Combinar las plataformas de nube populares actuales (Aliyun, UCloud) para brindarle "Desarrollo de Big Data nativo de la nube": basado en las plataformas de nube Hadoop3.3.4, Hive 3.1.3, Alibaba Cloud y UCloud, utilizando un nuevo sistema de pila de tecnología.
adecuado para la multitud
>Cero básico: desde principiantes hasta nivel avanzado y luego hasta dominio.
>Avanzado: ingenieros experimentados se consolidan y amplían
＞Explorador: aquellos interesados en disfrutar del encanto del big data
Comenzando con el desarrollo de Big Data en la Fase 1
Guía de estudio previo: comience con bases de datos relacionales tradicionales, herramientas de migración de datos maestros, herramientas de visualización de datos de BI y SQL, y siente una base sólida para el aprendizaje posterior.
1. Base de desarrollo de big data MySQL8.0 desde el nivel básico hasta el dominio
MySQL es todo el curso básico de TI y SQL se aplica a toda la vida de TI. Como dice el refrán, si SQL está bien escrito, puede encontrar trabajo fácilmente. Este curso explica completamente MySQL8.0 desde cero hasta nivel avanzado, después de estudiar este curso podrás tener el nivel de SQL requerido para el desarrollo básico.
La base central de big data en la segunda etapa
Guía de estudio previo: aprenda Linux, Hadoop, Hive y domine la tecnología básica de big data.
Tutorial introductorio de Big Data Hadoop 2022
Hadoop fuera de línea es el núcleo y la piedra angular del ecosistema de big data, una introducción a todo el desarrollo de big data y un curso que sienta una base sólida para los posteriores Spark y Flink. Después de dominar las tres partes del curso: Linux, Hadoop y Hive, podrá realizar de forma independiente el desarrollo de informes visuales para el análisis de datos fuera de línea basados en el almacén de datos.
La tercera etapa de cientos de miles de millones de tecnología de almacenamiento de datos
Guía de estudio previo: el curso en esta etapa se basa en proyectos reales y aprende tecnología de almacenamiento de datos fuera de línea.
Almacén de datos fuera de línea, práctica de proyectos de educación en línea a nivel empresarial (proceso completo del proyecto de almacén de datos de Hive)
Este curso establecerá un almacén de datos grupal, unificará el centro de datos grupal y centralizará el almacenamiento y el procesamiento de datos comerciales dispersos; el propósito es desde la investigación de la demanda, el diseño, el control de versiones, la I+D, las pruebas y el lanzamiento, cubriendo el proceso completo del proyecto; investigando y analizando datos masivos de comportamiento del usuario, personalizando conjuntos de datos multidimensionales y formando un data mart para usar en varios temas de escena. .
La cuarta etapa de computación de memoria PB
Guía de estudio previo: Spark ha adoptado oficialmente Python como el primer idioma en su página de inicio. En la actualización de la versión 3.2, destaca el contenido integrado de Pandas, Spark.
1. Desde el inicio hasta el dominio de Python (19 días)
Cursos de aprendizaje básico de Python, desde la construcción del entorno. Declaraciones de juicio, y luego a tipos de datos básicos, y luego aprenda y domine funciones, familiarícese con las operaciones de archivos, inicialmente desarrolle ideas de programación orientada a objetos y, finalmente, lleve a los estudiantes al palacio de la programación en Python con un caso.
2. La programación en Python avanzó de cero a la creación de sitios web
Después de completar este curso, dominará la sintaxis avanzada de Python, la programación multitarea y la programación de redes.
3.spark3.2 de básico a competente
Spark es el producto estrella del sistema de big data: es un marco informático iterativo de memoria distribuida de alto rendimiento que puede manejar cantidades masivas de datos. Este curso está desarrollado en base al aprendizaje del lenguaje Python Spark3.2. La explicación del curso se centra en integrar la teoría con la práctica, que es eficiente, rápida y fácil de entender, para que los principiantes puedan dominarlo rápidamente. Dejemos que los ingenieros experimentados también ganen algo.
4. Combate real del proyecto industrial de almacén de datos fuera de línea Big data Hive + Spark
A través de la arquitectura de tecnología de big data, resuelve los problemas de almacenamiento y análisis de datos, visualización y recomendación personalizada en la industria manufacturera de Internet de las cosas. El proyecto de fabricación integral se basa principalmente en la capa de almacén de datos de Hive para almacenar los datos de varios indicadores comerciales y en SparkSQL para el análisis de datos. El negocio principal involucra operadores, centros de llamadas, órdenes de trabajo, gasolineras y almacenamiento de materiales.