Big data (3) Empregos relacionados a big data
Conteúdo deste artigo:
1. Digressão escrita na frente
2. Situação profissional em 2022
2.1. Índice CIER de graduados universitários com diferentes tipos de empresas
2.2. Índice CIER de graduados universitários de diferentes portes de empresas
2.3. As 15 principais cidades em oferta e demanda de graduados universitários
2.4. Classificações da indústria com índice de prosperidade alto e baixo no primeiro trimestre
2.5. Rankings de ocupação com maior e menor índice de prosperidade no primeiro trimestre
2.6. Salário por tipo de desenvolvedor
3. Empregos relacionados a big data
3.1. Engenheiro de desenvolvimento de big data
3.3. Engenheiro de análise de mineração de dados
3.4. Gerente de produto de dados
Descrição do trabalho do engenheiro de big data (1)
Descrição do trabalho do engenheiro de big data (2)
Descrição do trabalho do engenheiro de big data (3)
Descrição do trabalho do engenheiro de big data (4)
Descrição do trabalho do engenheiro de big data (5)
Descrição do trabalho do engenheiro de big data (6)
1. Digressão escrita na frente
Certa vez ouvi o responsável pelo recrutamento de uma determinada unidade expressar esta emoção: Durante a entrevista, essa pessoa obviamente teve uma pontuação muito alta na prova, e até respondeu corretamente às questões do concurso. Temos grandes expectativas para ele, mas no trabalho real ele parece trabalhar muito, mas suas notas são medíocres, por quê?
Hehe, se eu adivinhei corretamente, a pessoa que ele disse obteve altas pontuações nos testes ao escovar as questões, e aqueles que erraram nas questões são propensos a pontuações altas e baixas habilidades. Existem muitas tentações na sociedade agora e há menos pessoas que conseguem se concentrar em aprender alguma coisa.
Agora o mercado de trabalho não está otimista, algumas unidades sempre exigem alunos de pós-graduação e doutorado, mas o próprio trabalho dos alunos de graduação já é competente. As pessoas que são recrutadas e realmente trabalham na unidade estão fazendo trabalhos que não são menos difíceis do que aqueles com ensino superior, e a dificuldade não é menor que a dos outros, mas o salário é realmente muito menor, e me sinto um pouco um pouco magoado. Os elevados requisitos de educação aumentaram o limiar de entrada e algumas pessoas não conseguem encontrar empregos adequados e optam por continuar os seus estudos para melhorar a sua educação.
A educação é explícita, a habilidade é implícita. As qualificações académicas podem ser quantificadas, mas a capacidade não pode ser quantificada.
Qual deles é mais importante, educação ou habilidade, é afetado por múltiplos fatores, como indivíduos, empresas, cargos e ambientes. As empresas dizem frequentemente que a capacidade é importante, mas, na prática, fazem a escolha oposta.
Então, todos, enquanto são jovens, reservem um tempo para se recarregar...Educação e habilidade ao mesmo tempo.
Sóbrio na adversidade
2023.8.27
2. Situação profissional em 2022
2.1. Índice CIER de graduados universitários com diferentes tipos de empresas
Índice CIER 2022 de graduados de faculdades e universidades com diferentes tipos de empresas
2.2. Índice CIER de graduados universitários de diferentes portes de empresas
Índice CIER de graduados universitários de diferentes portes de empresas em 2022
2.3. As 15 principais cidades em oferta e demanda de graduados universitários
As 15 principais cidades em oferta e demanda de graduados universitários em 2022
2.4. Classificações da indústria com índice de prosperidade alto e baixo no primeiro trimestre
Ranking das indústrias com alto e baixo índice de prosperidade no primeiro trimestre de 2022
2.5. Rankings de ocupação com maior e menor índice de prosperidade no primeiro trimestre
Classificações de ocupação com índice de sentimento mais alto e mais baixo, primeiro trimestre de 2022
2.6. Salário por tipo de desenvolvedor
Salário por tipo de desenvolvedor
Cargos seniores, como executivos e gerentes de engenharia, tendem a pagar melhor. Mas nos EUA, Alemanha, Reino Unido e Canadá, vemos salários comparáveis para desenvolvedores de blockchain, mesmo com a média mais baixa de anos de experiência.
3. Empregos relacionados a big data
Como tendência, o big data tem atraído cada vez mais atenção.Atualmente, desde os ministérios e comissões nacionais até às empresas comuns, várias aplicações de construção e análise de plataformas de big data têm sido realizadas uma após a outra.
Quais são os trabalhos atuais relacionados ao big data? Quais são os requisitos do trabalho e salário? Aqui estão algumas informações coletadas para sua referência:
3.1. Engenheiro de desenvolvimento de big data
Engenheiros de desenvolvimento de big data, também chamados de engenheiros de desenvolvimento de banco de dados, referem-se a profissionais que projetam, desenvolvem, mantêm e gerenciam grandes bancos de dados.
requisitos do trabalho:
1. Bacharelado ou superior em comunicação, engenharia eletrônica, automação, informática e outras áreas relacionadas;
2. Experiência em análise, design e desenvolvimento de software aplicativo de banco de dados;
3. Proficiente em princípios de banco de dados relacional, proficiente em SQLSERVER, familiarizado com MySQL, oracle;
4. Hábil no uso de ferramentas convencionais de análise e design de banco de dados; pode concluir de forma independente o design do sistema de banco de dados e pode projetar
5. Familiarizado com arquitetura NET e arquitetura J2EE, familiarizado com ASP?NET e ADO?NET;
Conceito OOD/OOP e padrão XML;
7. Familiarizado com data warehouse, OLAP e mineração de dados; 8. Boa capacidade de leitura em inglês, capaz
de ler materiais de teste de inglês; 10. Ter noção de tempo, forte independência, e espírito de trabalho em equipe.
Conteúdo do trabalho:
1. Projetar e otimizar o plano de construção física do banco de dados;
2. Formular estratégias, fluxos de trabalho e especificações de backup e recuperação de banco de dados;
3. Realizar a implementação do banco de dados durante a implementação do projeto
; Solução;
5. Supervisionar o processo de instalação e operação do banco de dados em UNIX, Tandem, NT e outros sistemas;
6. Analisar, projetar e desenvolver racionalmente o banco de dados espacial para alcançar um gerenciamento eficaz;
7. Supervisionar a implementação de estratégias de backup e recuperação de banco de dados;
8, Fornecer serviços de consultoria técnica para desenvolvimento de aplicativos, sistema conhecimento, etc
3.2. Analista de Dados
Um analista de dados é um tipo de engenheiro de dados, referindo-se a profissionais de diferentes setores que se especializam em coletar, classificar e analisar dados do setor e fazer pesquisas, avaliações e previsões do setor com base nos dados.
Responsabilidades do trabalho:
1. Abstrair os requisitos de análise de dados, formar produtos de dados competitivos e ajudar as empresas de produtos a compreender e usar os dados mais profundamente; 2.
Com base na compreensão profunda dos produtos e negócios da Internet, realizar de forma independente tarefas de análise complexas e fornecer orientação do produto Fornecer decisões -fazer suporte;
3. Responsável pelo suporte de dados para trabalhos de projeto relevantes e produção de relatórios de negócios; 4. Estabelecer
modelos estatísticos de dados relacionados ao negócio do produto;
requisitos do trabalho:
1. Bacharelado ou superior, especialização em informática, estatística, matemática, gerenciamento de informações, sociologia, etc., mais de 3 anos de experiência profissional em consultoria e indústria de Internet; 2. Boa capacidade de análise de dados, rica em análise de dados,
mineração, limpeza 3. Familiarizado
com a coleta de dados da Internet, capaz de processar big data, proficiente no uso de SQL e dominar o Hive e outras ferramentas de dados relacionadas;
4. Boa comunicação e bom espírito de trabalho em equipe;
5. Ter trabalho de análise de dados na indústria da Internet. que trabalharam na indústria de mineração de dados são os preferidos.
3.3. Engenheiro de análise de mineração de dados
Um engenheiro de mineração de dados é um tipo de engenheiro de dados. Geralmente se refere a profissionais técnicos e de engenharia que utilizam algoritmos para buscar conhecimento oculto em uma grande quantidade de dados. Este conhecimento pode ser utilizado para tornar a tomada de decisões empresariais inteligente e automática, para que as empresas possam melhorar a eficiência do trabalho e reduzir a possibilidade de tomadas de decisões erradas, de modo a serem invencíveis na competição acirrada.
Responsabilidades do trabalho:
1. Responsável pela pesquisa de métodos e ferramentas de novas técnicas de análise e mineração de dados;
2. Responsável por organizar a promoção e treinamento de técnicas de análise de big data na indústria.
requisitos do trabalho:
1. Licenciatura ou superior, com especialização em finanças, matemática, estatística, informática e outras áreas relacionadas com ciências e engenharia;
2. Ter sólidos conhecimentos de matemática, estatística e informática, familiarizados com a teoria básica e aspectos relevantes de nova mineração e análise de dados métodos como aprendizado de máquina 3. Familiarizado com uma
ferramenta tradicional de mineração de dados, como SAS, SPSS, Matlab, Weka, etc., ou ter experiência real no desenvolvimento de projetos de pelo menos uma ferramenta de análise de big data, como R/Python, Mahout , Hadoop, SparkML, etc.;
4. Ter pensamento rigoroso sobre dados, excelente capacidade de análise de problemas e boa capacidade de análise e redação de relatórios de pesquisa, pode produzir análises profissionais e relatórios de pesquisa e está disposto a resolver problemas desafiadores; 5. Excelente desempenho acadêmico na escola
, CET-4 e acima, forte senso de responsabilidade, bom espírito de cooperação, forte capacidade de aprendizagem, habilidades de comunicação e coordenação e forte amor pela tecnologia; 6. Boa
qualidade ideológica, boa saúde, sem histórico médico sério.
3.4. Gerente de produto de dados
Num sentido lato, um produto de dados é uma forma de produto que pode aproveitar ao máximo o valor dos dados para ajudar os utilizadores a tomar melhores decisões (ou mesmo ações). Ele pode atuar como um visualizador de análise de informações e facilitador de valor no processo de tomada de decisão e ação do usuário. Desta perspectiva, os motores de busca e os motores de recomendação personalizados são obviamente também produtos de dados. Como a forma do produto é relativamente madura, raramente são classificados no conceito de produtos de dados. Camadas de roupa, para que os utilizadores não profissionais não possam sentir intuitivamente a existência De dados.
Responsabilidades do trabalho:
1. Estabelecer e otimizar o laboratório modelo e apoiar as operações diárias, apoiar a construção e otimização do modelo dos comerciantes
2. Projetar e desenvolver produtos de controle de risco de big data para os pontos problemáticos do negócio de controle de risco da Internet, incluindo, mas não se limitando a, relatórios de crédito, usuário retratos e pontuações de risco, sistema de integração de crédito, plataforma de marketing, etc.
3. Construir um sistema de análise de qualidade e análise de valor para produtos de dados upstream e downstream, acompanhar e otimizar periodicamente o trabalho de qualidade de cada camada de produtos de dados
requisitos do trabalho:
1. Bacharelado ou superior, especialização em estatística e especialização em informática
2. Mais de 2 anos de experiência em gerenciamento de dados ou participação na construção de estratégias de risco, construção de sistema de controle de risco e construção de plataforma de marketing
3. Dominar o uso de Python , SAS, R, etc. pelo menos um software de análise estatística A ou proficiência em ferramentas de prototipagem como AxureRP
4. Excelentes habilidades de comunicação, habilidades de coordenação e habilidades organizacionais
4. Forte sensibilidade ao desenvolvimento da indústria e evolução de riscos
3.5. Arquiteto de dados
Um arquiteto de dados é um líder de equipe que precisa controlar o todo, bem como entender os gargalos locais e fornecer soluções baseadas em cenários de negócios específicos. Um arquiteto precisa de imaginação suficiente para expandir vários requisitos-alvo em diferentes dimensões e fornecer aos clientes-alvo uma lista de requisitos mais abrangente. Os arquitetos desempenham um papel muito importante em todo o processo de desenvolvimento de software.
Requisitos do trabalho:
1. Bacharelado ou superior em informática, automação industrial e outras áreas relacionadas.
2. Familiarizado com a teoria de modelagem de data warehouse, mais de 3 anos de experiência prática em áreas afins e capaz de concluir de forma independente a arquitetura do sistema.
3. Familiarizado com Hadoop, Hive, Spark e outras tecnologias de big data.
4. Proficiência no uso de Java ou outras linguagens para processamento complexo de dados de lógica de negócios, com capacidade de processar dados massivos e otimizar desempenho.
5. Proficiente em MySQL, Redis, HBase e outros bancos de dados, capaz de otimizar consultas de armazenamento.
6. Pensamento claro, boas habilidades de comunicação e compreensão, forte capacidade de aprendizagem e capacidade de resolver problemas rapidamente.
7. Boa exploração e curiosidade por novas tecnologias e coisas novas.
Responsabilidades do trabalho
1. Responsável pela avaliação e desenho da arquitetura técnica de projetos de big data.
2. Responsável pelo desenvolvimento de funções-chave, solução de problemas técnicos e controle-chave do código de saída.
3. Responsável pela pré-pesquisa e seleção das principais tecnologias utilizadas, e preenchimento do PoC.
4. Responsável pelo desenvolvimento, utilização, otimização de desempenho e testes de novas tecnologias da plataforma de big data.
5. Ser capaz de liderar a equipe na conclusão do trabalho de desenvolvimento do projeto e compartilhar experiência técnica.
6. Pesquisar tecnologias convencionais que possam ser aplicadas aos produtos para promover a melhoria das funções e do desempenho do produto.
3.6. Engenheiro Visual de P&D
A visualização de dados é uma pesquisa científica e tecnológica sobre a representação visual de dados. Dentre eles, a representação visual desses dados é definida como informações extraídas de uma determinada forma resumida, incluindo diversos atributos e variáveis da unidade de informação correspondente.
Responsabilidades do trabalho
1. Arquitetura e desenvolvimento da plataforma de visualização de big data;
2. Participar da seleção técnica, especificação técnica e design de recursos principais da visualização de dados da plataforma de big data;
3. Participar da pesquisa e desenvolvimento da função principal de produtos, componentes, modelos de visualização de dados gerais design, modularização Design de quadro;
4. Responsável pelo desenvolvimento e manutenção de produtos de visualização de big data. Com base na compreensão do negócio do produto, melhorar a experiência do usuário do produto e o desenvolvimento de negócios orientado pela tecnologia; Vários
desafios e dificuldades técnicas, como desempenho e alta estabilidade 6.
Preste atenção ao desenvolvimento da tecnologia na indústria, continue a melhorar e mantenha a natureza avançada da arquitetura e tecnologia do produto de visualização de dados.
requisitos de trabalho
1. Graduação em engenharia de computação ou software, graduação em tempo integral ou superior, sólida base de computadores e redes 2. Mais de
3 anos de experiência profissional em visualização de dados, participou do projeto técnico e desenvolvimento de produtos de visualização de dados em grande escala
3. Excelentes recursos de pesquisa e desenvolvimento de front-end, com rica experiência em desenvolvimento de produtos interativos, familiarizado com estruturas de front-end convencionais, como vue/react/angular, etc. 4. Familiarizado com componentes de visualização de dados convencionais, como echarts, thingJS,
datav , etc., leia o código-fonte, entenda o design do código dessas bibliotecas de gráficos e experiência de desenvolvimento secundário é preferida
5. Ame o campo de visualização de dados e tenha uma compreensão profunda da visualização de dados. Se você estiver interessado em desenvolvimento de big data e deseja estudar big data sistematicamente, você deve ter um alto grau de sensibilidade técnica e uma ampla perspectiva técnica. Ter experiência em otimização de desempenho/desenvolvimento de terminal cruzado e multiplataforma 6. Capacidade de desenvolver
Web front-end de forma independente, familiarizado com um linguagem de back-end (PHP/Python/Java/Node, etc.).
3.7. Engenheiro de big data
Descrição do trabalho do engenheiro de big data (1)
Responsabilidades do trabalho:
1. Responsável pelo desenvolvimento de procedimentos de análise, processamento, limpeza e processamento de dados;
2. Envolver-se em análises massivas de dados e trabalhos relacionados com a mineração;
3. Responsável pela construção, desenvolvimento, manutenção e otimização de plataformas relacionadas a big data;
4. Perceber e apoiar as necessidades de análise de dados do departamento comercial;
5. Realize as metas de negócios de “operação orientada a dados” da empresa com soluções de arquitetura de big data.
requisitos do trabalho:
1. Graduação em informática, bacharelado ou superior, mais de 3 anos de experiência profissional em desenvolvimento Java, excelente capacidade de aprendizado;
2. Familiarizado com o uso de projetos comuns no ecossistema hadoop (hdfs, hive, hbase, spark, zookeeper, yarn, etc.), ter experiência de desenvolvimento em python, spark, MapReduce, é preferível experiência em projetos reais de big data;
3. Familiarizado com bancos de dados convencionais como Oracle e MySql;
4. Proficiente em JAVA, familiarizado com design de arquitetura WEB baseada em J2EE, familiarizado com o processo de desenvolvimento Web e rica experiência em desenvolvimento Web MVC (Struts/Spring MVC, Spring, Hibernate/Mybatis, etc.);
5. Familiarizado com a operação do ambiente de sistema Linux/Unix, familiarizado com a configuração e otimização do Tomcat e outros servidores de aplicativos;
6. Possuir boa capacidade de comunicação, capacidade de organização e espírito de trabalho em equipa, e forte capacidade de análise e resolução de problemas.
Descrição do trabalho do engenheiro de big data (2)
Responsabilidades do trabalho:
1. Planejamento de funções e design de plataforma de big data;
2. Projeto e desenvolvimento de plataforma de big data;
3. Implementação de plataforma de big data e acesso a dados.
requisitos do trabalho:
1. Graduação ou superior, especialização em ciência da computação, engenharia de software, matemática, estatística;
2. Ter uma base sólida em Java, proficiente em SQL, mysql e mais de 2 anos de experiência em desenvolvimento de software;
3. Familiarizado com a arquitetura da plataforma HADOOP, possui experiência em hadooop, HBase, Hive, Spark, kafka;
4. Proficiência em Python para processamento de dados e web crawling;
5. É preferível experiência em análise e identificação de dados não estruturados.
Descrição do trabalho do engenheiro de big data (3)
Responsabilidades do trabalho:
1. Responsável pela construção, design, otimização e implementação de data warehouse;
2. Responsável pelo desenvolvimento de ETL de dados, construção de plataforma de dados, design e implementação de análise de BI e desenvolvimento de produtos de dados.
requisitos do trabalho:
1.985 faculdades e universidades com bacharelado ou superior em área de informática;
2. Ter uma base teórica relativamente sólida para armazéns de dados e ter uma experiência relativamente rica na construção de modelos de dados e na construção de camadas de aplicação;
3. É preferível experiência no uso de tecnologias de big data, como Hadoop, Hive, Spark, Impala.
Descrição do trabalho do engenheiro de big data (4)
Responsabilidades do trabalho:
1. Principal responsável pelo desenvolvimento de big data dos negócios de telecomunicações;
2. Projetar cenários de análise de dados com base nos requisitos de negócios, formar um plano de implementação em segundo plano, concluir de forma independente a modelagem de dados de negócios e converter os resultados em indicadores operacionais;
3. Acompanhar todo o ciclo de vida do produto, coordenar diversos recursos para garantir o bom desenvolvimento do produto.
requisitos do trabalho:
1. Bacharelado ou superior em informática ou áreas afins, 3 anos ou mais de experiência profissional relacionada;
2. Proficiente em linguagem de desenvolvimento Java, familiarizado com multi-threading e ajuste de thread, como desenvolvimento scala é melhor;
3. Familiarizado com ambiente de servidor Linux e shell;
4. É preferível estar familiarizado com sistemas distribuídos, gerenciamento de cluster, arquitetura SOA e outras tecnologias relacionadas, familiarizado com a implantação e princípios de funcionamento do hadoop em cluster de fio, proficiente no desenvolvimento de MR e experiência no desenvolvimento, operação e manutenção de cluster em grande escala;
5. Aqueles que estão familiarizados com 3 ou mais das seguintes tecnologias são preferidos: hive, hbase, impala, Nginx, zookeeper, redis, kafka, storm, spark, es, crawler;
6. Ter boa capacidade de comunicação e espírito de equipe, além de boa capacidade de resistir à pressão.
Descrição do trabalho do engenheiro de big data (5)
Responsabilidades do trabalho:
1. Responsável pelo desenvolvimento de aplicações de plataforma de processamento de big data;
2. Use Hadoop Yarn/Storm/Spark para implementar desenvolvimento de código, armazenamento e aplicativos de computação distribuída;
3. Otimize os parâmetros de fio/Storm/Spark do Hadoop, realize o ajuste do sistema e atenda aos requisitos de processamento de big data em tempo real de aplicações industriais;
4. Aprender novas tecnologias para melhorar o poder computacional e a eficiência de toda a plataforma;
5. Desenvolver programas de script baseados em HIVE, Hbase, ES e outros métodos de processamento de dados.
requisitos do trabalho:
1. Mais de 3 anos de experiência em desenvolvimento Hadoop/Storm/Spark, com profundo conhecimento da teoria da computação distribuída e paralela;
2. Proficiente em qualquer linguagem de java/scala/python;
3. Ter pesquisa sobre código-fonte Hadoop/Storm/Spark, é preferível experiência em desenvolvimento de plataforma de big data;
4. Ter boa sensibilidade técnica, boa capacidade de aprendizagem e capacidade de trabalho árduo;
5. Ter boas habilidades de comunicação e coordenação, habilidades de trabalho em equipe e habilidades de redação de documentos.
Descrição do trabalho do engenheiro de big data (6)
conteúdo do trabalho
Construir uma plataforma de análise de big data
Participar na construção de dados de negócios, construção de sistemas temáticos de dados e construção de plataforma intermediária de dados
Análise de dados e trabalho de mineração
Análise de fluxo off-line e em tempo real baseada em dados
Apoiar a construção de modelos de dados de negócios e cálculo e análise de índice
de dados Armazenamento de dados e consulta Construir e operar sistema de análise de dados Usar
Hadoop\Spark\ES e outras plataformas distribuídas de computação e armazenamento para
otimizar o processo ETL
Habilidades necessárias
Spark/Flink (arquitetura e desenvolvimento), ES, Flume/Filebeat, Kafka
Proficiência no uso de SQL
Hadoop relacionado tecnologias (desenvolvimento, implantação, ajuste), compreender os princípios e processos do MapReduce
4. Observações
Fonte da imagem de recrutamento: status quo da ecologia de talentos da indústria de big data da China
Artigos sobre big data:
- Big data (1) Definição e características
- Big data (2) Estatísticas relacionadas à indústria de big data
- Big data (3) Empregos relacionados a big data
- Crie uma grande tela de visualização de big data com base em Echarts
- Big Data (4) Tecnologia convencional de Big Data
Leitura recomendada:
|
|
|
|
| Tomcat11, configuração de instalação do tomcat10 (ambiente Windows) (gráficos detalhados) |
||
