1. Engenheiro de governança de dados
Responsabilidades do trabalho
As responsabilidades profissionais de um engenheiro de governança de dados incluem principalmente os seguintes aspectos:
1. Formulação de estratégia de gestão de dados: Formular e implementar estratégias de gestão de dados, incluindo as especificações e procedimentos para recolha, armazenamento, processamento e utilização de dados, para garantir a fiabilidade e consistência dos dados.
2. Gerenciamento da qualidade dos dados: avalie e monitore a qualidade dos dados, descubra e resolva problemas de qualidade dos dados e garanta a precisão, integridade e consistência dos dados.
3. Segurança de dados e proteção da privacidade: Formular e implementar políticas e medidas de segurança de dados para proteger a segurança e a privacidade dos dados e evitar o vazamento e uso ilegal de dados.
4. Projeto de arquitetura de dados: Projetar e manter uma arquitetura de dados adequada às necessidades do negócio, incluindo modelos lógicos e modelos físicos, para garantir uma organização eficaz e um uso eficiente dos dados.
5. Ferramentas de governação de dados e aplicações tecnológicas: Utilizar ferramentas e tecnologias de governação de dados, tais como catálogos de dados, ferramentas de gestão de metadados, ferramentas de qualidade de dados, etc., para gerir e governar dados.
6. Gestão de conformidade de dados: garantir que o processamento e uso de dados cumpram as leis, regulamentos e normas relevantes do setor, e cumpram os requisitos de proteção de dados e proteção de privacidade.
7. Cooperar com equipes técnicas e de negócios: Trabalhe em estreita colaboração com equipes técnicas e de negócios para entender as necessidades de negócios e fornecer suporte e soluções de governança de dados.
8. Treinamento e conscientização sobre dados: Realizar treinamento em dados e atividades de conscientização para aumentar a compreensão e a ênfase na governança de dados dentro da organização.
Em geral, as responsabilidades do trabalho de um engenheiro de governança de dados são garantir a qualidade dos dados, baixo custo e conformidade, projetar e manter uma arquitetura de dados que atenda às necessidades de negócios e trabalhar com equipes técnicas e de negócios para fornecer suporte e soluções de governança de dados.
A diferença e a interseção do trabalho com o engenheiro de data warehouse
Os engenheiros de governança de dados e os engenheiros de data warehouse têm certas responsabilidades sobrepostas na empresa, mas também existem algumas diferenças.
As principais responsabilidades dos Engenheiros de Governança de Dados são gerenciar e governar os ativos de dados da empresa , garantir a qualidade, segurança e conformidade dos dados e fornecer suporte e soluções de governança de dados para equipes técnicas e de negócios. Especificamente, inclui a formulação de políticas de gestão de dados, gestão da qualidade dos dados, segurança dos dados e protecção da privacidade, concepção da arquitectura de dados, ferramentas de governação de dados e aplicações tecnológicas, e gestão da conformidade dos dados.
A principal responsabilidade do engenheiro de data warehouse é projetar, desenvolver e manter o sistema de data warehouse da empresa , incluindo extração, conversão, carregamento e armazenamento de dados. Os engenheiros de data warehouse precisam entender os requisitos de negócios, projetar modelos e arquiteturas de dados, desenvolver processos ETL e garantir a precisão, integridade e consistência dos dados.
A intersecção das duas posições está no design da arquitetura de dados e no gerenciamento da qualidade dos dados . Tanto os engenheiros de governança de dados quanto os engenheiros de data warehouse precisam entender os requisitos de negócios e projetar arquiteturas e modelos de dados adequados. Ao mesmo tempo, ambas as posições precisam de prestar atenção às questões de qualidade dos dados para garantir a precisão, integridade e consistência dos dados.
A diferença entre as duas posições é que os engenheiros de governança de dados prestam mais atenção ao gerenciamento e governança de ativos de dados , incluindo segurança de dados e proteção de privacidade, gerenciamento de conformidade de dados, etc.; enquanto engenheiros de data warehouse prestam mais atenção ao design e desenvolvimento de sistemas de data warehouse , incluindo desenvolvimento de processos ETL e trabalho de manutenção. Em muitas empresas, não existe uma equipa separada de governação de dados, mas o desenvolvimento de armazéns de dados assume este papel.Os engenheiros de armazéns de dados participam na construção do sistema de governação de dados como a principal força da governação de dados, e mais frequentemente participam no papel de implementação • Na governança de dados. É mais provável que os engenheiros de governação de dados sejam líderes de governação de dados ou forneçam funções metodológicas para participar em projetos.
Resumindo, os engenheiros de governança de dados e os engenheiros de data warehouse têm certas sobreposições nas responsabilidades de trabalho, mas também existem algumas diferenças. Os dois cargos precisam trabalhar em estreita colaboração para fornecer mais soluções de alta qualidade e baixo custo para os ativos de dados e as necessidades de negócios da empresa.
2. Engenheiro de BI
Responsabilidades do trabalho
As responsabilidades profissionais dos engenheiros de BI incluem principalmente os seguintes aspectos:
1. Análise e relatórios de dados: Os engenheiros de BI são responsáveis por coletar, organizar e analisar os dados de negócios da empresa e gerar relatórios e gráficos visuais correspondentes de acordo com as necessidades do negócio. Eles precisam usar ferramentas de BI (como Tableau, Power BI, etc.) para análise e visualização de dados para ajudar os tomadores de decisão a entender melhor os dados e tendências de negócios.
2. Desenvolvimento de dados e ETL: Os engenheiros de BI também participarão do projeto e manutenção do sistema de data warehouse. Os scripts ETL para tarefas de dados precisam ser escritos para extrair dados de diferentes fontes de dados e transformá-los em um formato que possa ser usado para análise e relatórios.
3. Projeto de modelo de dados: os engenheiros de BI precisam projetar modelos de dados de acordo com as necessidades do negócio para oferecer suporte à análise de dados precisa e eficiente. Eles precisam compreender os processos de negócios e as relações de dados e usar ferramentas de modelagem de dados (como ERwin, PowerDesigner, etc.) para projetar modelos de dados adequados.
4. Gestão da qualidade dos dados: Os engenheiros de BI são responsáveis por garantir a qualidade e consistência dos dados. Precisam de monitorizar os indicadores de qualidade dos dados, identificar e resolver problemas de qualidade dos dados e estabelecer processos e normas de gestão da qualidade dos dados.
5. Suporte técnico e treinamento: Os engenheiros de BI precisam fornecer suporte técnico para resolver problemas encontrados pelos usuários empresariais no processo de análise de dados e relatórios. Eles também precisam fornecer treinamento aos usuários para ajudá-los a usar melhor as ferramentas e sistemas de BI.
Em geral, os engenheiros de BI são responsáveis por converter uma grande quantidade de dados de negócios em informações e insights valiosos e ajudar os tomadores de decisão a tomar decisões baseadas em dados.O conteúdo principal do trabalho é realizar a visualização de indicadores de negócios e transformá-los em negócios e gestão custos.Apresentação de dados mais fácil de entender e tomar decisões. Eles também precisam de habilidades e conhecimentos em análise de dados, desenvolvimento de data warehouse e ETL, design de modelo de dados e gerenciamento de qualidade de dados.
Diferenças e interseções de trabalho com engenheiros de data warehouse
Na equipe de big data da empresa de crédito, o trabalho dos engenheiros de BI e dos engenheiros de data warehouse tem uma certa sobreposição, mas também existem algumas diferenças de trabalho.
1. Interseção de trabalho:
- Análise e relatórios de dados: Tanto os engenheiros de BI quanto os engenheiros de data warehouse precisam coletar, organizar e analisar uma grande quantidade de dados de negócios e, em conjunto, fornecer suporte à decisão baseado em dados e insights de negócios.
- Desenvolvimento de data warehouse: engenheiros de BI e engenheiros de data warehouse precisam projetar, construir e manter data warehouses e data marts para garantir a precisão, integridade e consistência dos dados.
- Gerenciamento da qualidade dos dados: devido à qualidade completa dos dados, tanto os engenheiros de BI quanto os engenheiros de data warehouse precisam monitorar e manter a qualidade dos dados para garantir a precisão e a confiabilidade dos dados.
No trabalho diário, os engenheiros de armazéns de dados desempenham mais funções como fornecedores de suporte de dados e de modelos de dados.Por exemplo, para um requisito de relatório, os engenheiros de armazéns de dados são responsáveis pelo desenvolvimento de dados de ligação completa de ponta a ponta, enquanto os engenheiros bi são responsáveis pela utilização como Tableau, finereport e outros trabalhos de relatório são baseados na tabela de dados fornecida pelo engenheiro de desenvolvimento de data warehouse para realizar o trabalho de exibição do relatório. Deve-se observar que, em algumas empresas, os engenheiros bi também assumirão as funções de engenheiros de dados, como serem responsáveis pelo desenvolvimento de dados da camada de anúncios.
2. Diferença de posição:
- Requisitos técnicos: Os engenheiros de BI precisam ter a capacidade de desenvolver e usar ferramentas de análise e relatório de dados, estar familiarizados com técnicas de mineração e análise de dados e usar ferramentas de visualização de dados. O engenheiro de data warehouse precisa ter habilidade para projetar modelos de data warehouse e desenvolver processos ETL, e estar familiarizado com modelagem de dados e tecnologia de banco de dados.
- Foco nos negócios: os engenheiros de BI prestam mais atenção ao uso de ferramentas de análise e relatórios de dados e à satisfação das necessidades de negócios, e estão comprometidos em fornecer suporte à decisão baseado em dados. Os engenheiros de data warehouse prestam mais atenção à construção de data warehouses e à otimização dos processos de dados e estão comprometidos em fornecer infraestrutura de dados de alta qualidade e alto desempenho.
- Posicionamento de função: os engenheiros de BI geralmente estão mais próximos do departamento comercial, trabalham em estreita colaboração com o pessoal comercial, entendem as necessidades do negócio e fornecem soluções de análise de dados correspondentes. Os engenheiros de data warehouse geralmente estão mais próximos da equipe técnica, trabalham em estreita colaboração com arquitetos e desenvolvedores de dados e são responsáveis pelo design e desenvolvimento de data warehouses.
Resumindo, o trabalho dos engenheiros de BI e dos engenheiros de data warehouse na equipe tem uma certa interseção, mas existem algumas diferenças nos requisitos técnicos, nas preocupações de negócios e no posicionamento de funções.
3. Engenheiro de operação e manutenção de dados
requisitos de trabalho
Os requisitos de habilidade profissional para engenheiros de operação e manutenção de big data podem incluir o seguinte:
1. Tecnologia de big data: Familiarizado com pilhas de tecnologia de big data, como Hadoop, Spark, Hive, HBase, etc., entenda os princípios subjacentes, a arquitetura e o uso desses componentes.
2. Gerenciamento de armazenamento de dados: gerencie e mantenha sistemas de armazenamento de big data, como HDFS, HBase, etc., para garantir a confiabilidade e disponibilidade dos dados e realizar planejamento de capacidade e otimização de desempenho. Capaz de realizar operações como instalação, configuração, backup e recuperação de banco de dados.
3. Operação e manutenção de armazenamento de dados: Familiarizado com sistemas de armazenamento de big data, como HDFS, banco de dados NoSQL, etc., capaz de realizar operação e manutenção, garantindo o trabalho de mídias de armazenamento comuns.
4. Segurança de dados e gestão de autoridade: Possuir capacidade de segurança de dados e gestão de autoridade, compreender criptografia de dados, controle de acesso, proteção de dados e outras tecnologias relacionadas, e ser capaz de formular e implementar políticas de segurança de dados.
5. Solução de problemas e otimização de desempenho: Possuir a capacidade de solucionar problemas e otimizar o desempenho do cluster relacionado a plataformas ou componentes de big data, monitorar e diagnosticar falhas e problemas de desempenho de plataformas de big data e tomar medidas correspondentes para resolvê-los e otimizá-los.
6. Linguagens de programação e script: Proficiente em linguagens de programação e script, como Python, Java, Shell, etc., capaz de escrever scripts e ferramentas automatizadas para operação e manutenção de big data.
7. Capacidade de resolução de problemas: Possuir boa capacidade de resolução de problemas, ser capaz de localizar e resolver rapidamente problemas na operação e manutenção de dados e ter boas habilidades de análise e comunicação.
8. Trabalho em equipe: Possuir boas habilidades de trabalho em equipe e ser capaz de trabalhar em estreita colaboração com engenheiros de dados, cientistas de dados e equipes de negócios para resolver problemas e necessidades conjuntas na operação e manutenção de dados.
Diferenças e interseções de trabalho com engenheiros de data warehouse
No trabalho diário, os engenheiros de operação e manutenção de big data e os engenheiros de data warehouse podem ter algumas interseções. Por exemplo:
1. Quando a equipe do data center atende a algumas necessidades de serviço de dados do departamento de negócios, a equipe de operação e manutenção de big data e a equipe de data warehouse precisam cooperar para concluir o design e desenvolvimento da solução necessária. Para o design da solução, ambas as equipes precisam stand Como projetar os requisitos na perspectiva da racionalidade arquitetônica. Quanto ao trabalho de desenvolvimento, o engenheiro de data warehouse é responsável pelo design do modelo de dados e desenvolvimento de dados, e o engenheiro de operação e manutenção de big data é responsável pela criação de tabelas e desenvolvimento de interface de hbase, ck e outras mídias de armazenamento. Após o desenvolvimento da interface for concluído, a interface será exposta ao sistema de aplicação downstream.
2. No trabalho diário de operação e manutenção, o engenheiro de operação e manutenção é geralmente responsável por monitorar a falha do cluster e das tarefas.Quando ocorre um alarme de falha no cluster ou ocorre um erro na tarefa de agendamento, a operação e manutenção O engenheiro começará primeiro a solucionar a causa do problema. Se for um problema de cluster, o engenheiro de operação e manutenção O engenheiro de manutenção precisa corrigir o problema de falha urgentemente. Se for um problema de código de tarefa de agendamento ou de desenvolvimento de dados, a operação e o engenheiro de manutenção notificará o líder da tarefa correspondente, como o engenheiro de desenvolvimento de data warehouse, e o engenheiro de data warehouse ficará online para resolver o problema da tarefa de reparo.
Quer seja um engenheiro etl, um engenheiro de data warehouse ou um engenheiro de desenvolvimento de dados, todos eles têm o mesmo propósito de dar suporte às necessidades de aplicativos de dados da empresa e fornecer suporte e soluções de dados de alta qualidade para a equipe de negócios.