Este é o 9º dia da minha participação no Gengwen Challenge. Para detalhes do evento, consulte: Gengwen Challenge
DataOps, como o nome sugere, é derivado do conceito de DevOps, fornecendo funções de coleta e análise de dados totalmente automáticas e integradas em uma cesta. Há muito tempo, a empresa tinha a intenção de comprar a versão ControlHub, então entrei em contato com a empresa, mas infelizmente o responsável me respondeu e me disse que atualmente não há canais de vendas na China. E agora chegou a versão Beta do Online~~~, me segue para ver as vantagens dessa grande plataforma?
1. A próxima versão 4.0
Eu vi a ajuda do StreamSets 4.0 online há muito tempo, mas a versão para download não tem, o que deixa as pessoas muito curiosas, qual é o grande truque que o StreamSets está escondendo?
Sim, através da experiência, descobri o segredo, esta versão abrirá suas próprias articulações nativas da nuvem, fornecendo os seguintes recursos poderosos:
- gerenciamento de trabalho
- Agendamento de gerenciamento de tarefas
- carga, dimensionamento dinâmico
- suporte a fragmentos de função
- Plataforma em nuvem
- Poder de computação distribuído
- Bom monitoramento e gerenciamento de usuários
2. Entrada da experiência
A StreamSets lançou o evento de experiência do terceiro trimestre, que é uma oportunidade rara. Os amigos que quiserem experimentá-lo podem querer experimentá-lo.
2.1 Registro
Registre a entrada . Uma escada é necessária para fazer o login. Após entrar, siga o guia e construa-o em 5 minutos.
2.2 Construir o script de implantação
2.3 Copie o script de implantação
Moldado como:
curl -s https://dev.hub.streamsets.com/streamsets-engine-install.sh | bash -s -- --deployment-id="1b72d612-b533-48f0-966b-927b488231a7:cd534f44-cf0f-11eb-a0cd-b3e334979695" --deployment-token="eyJ0eXAiOiJKV1QiLCJhbGciOiJub25lIn0.eyJzIjoiMTBjNGFmMTdlNWIwYzUwOGM4MGZhZmY3MjI4NjAzZDZmZDIwNGY4MmMwYzliYWY2MjQ5MDZmZjdiZWM0NmMyNWI1YjA4N2Q0MGM1Mjc3Y2E4YmQ0NGQ2MThmNTI3MDI1ZGE3ZTFlMGI0NTg2OTZkNzU2M2U3MGJiZjQ5NGE0MzIiLCJ2IjoxLCJpc3MiOiJkZXYiLCJqdGkiOiI5YmFiMDk1MS1mM2JhLTQxYTYtYjk0NC00ZTE4NzVlZDEwZTciLCJvIjoiY2Q1MzRmNDQtY2YwZi0xMWViLWEwY2QtYjNlMzM0OTc5Njk1In0." --sch-url="https://dev.hub.streamsets.com"
复制代码Se você copiar meu script, ele adicionará um mecanismo de poder de computação para mim. Você pode entrar em contato comigo e abrir uma conta para você experimentar. Claro, você copiou o script que você mesmo gerou, então você pode experimentá-lo diretamente.
2.4 Aumente o mecanismo de poder de computação
Primeiro precisamos de um host em nuvem~~~ Em seguida, instale o java SDK e execute o script acima.
# 1.安装javasdk
yum -y install java-1.8.0-openjdk*
# 2. 复制你的部署脚本
复制代码Observe que a plataforma de potência de computação requer 1G+ de memória, portanto, certifique-se de que sua memória seja suficiente. Pressione Y até o fim. O StreamSet 4.0 foi implantado e conectado à sua plataforma de nuvem.
2.5 Verifique o mecanismo de computação
Clique em Setup - Engines na plataforma do hub de controle e você poderá abrir um computador que tenha adicionado poder de computação.
3 Pipeline de Experiência
Clique no pipeline de compilação: abra um e você verá a imagem a seguir, os ícones de cada componente têm uma nova aparência e a correspondência de cores é muito confortável.
3.1 Vamos construir um pipeline de aquisição
Arraste e solte componentes e coloque-os, e um pipeline é construído em minutos.
3.2 Gerenciamento de versões
A plataforma em nuvem fornece a função Check In, e o problema da versão foi resolvido muito bem.
3.3 Executando a visualização
Clique no ícone do pequeno olho. A visualização de dados é a seguinte:
4 Fragmentos de Experiência (Funções)
A plataforma SDC anterior não podia criar funções, o que nos impedia de reutilizar o código. Que tal esse trecho?
4.1 Criar um novo segmento
Construímos um fragmento de solicitação http simples, como segue, muito bem. Sim, os fragmentos não precisam de origem e destino, origem e destino são os parâmetros e o valor de retorno da função.
4.2 Depurando o próximo fragmento
Como não há fonte, a depuração requer a seleção da fonte de teste.
4.3 Gerenciamento de versões
Em relação aos fragmentos, também possui gerenciamento de versões.
4.4 Fragmentos de Citação
Para criar um novo pipeline, nos referimos à função de fragmento que acabamos de criar. então Oi!
5 emprego
O trabalho recém-adicionado é uma versão atualizada do pipeline de execução simples anterior. As informações de monitoramento estão completas.
5.1 Criar um trabalho
5.2 Criar um trabalho de agendamento
Com trabalhos de agendamento, você ainda está preocupado em não conseguir iniciar o pipeline regularmente?
6 Monitoramento de dados e poder de computação
7 Gerenciamento de usuários
Diga adeus ao gerenciamento simples de usuários, aqui estão os usuários, grupos, auditoria, chaves de autenticação de API, etc.
8 Resumo
Vocês estão atordoados?
Uma poderosa plataforma integrada é o que pensamos em nossas mentes!
Durante a operação, não são necessárias escadas e a operação é super suave. Ele está atualmente no período Beta, e pode ser cobrado mais tarde, espero que não seja muito caro.
Se gostar, é só clicar para seguir e favoritar! Seu clique é minha força motriz!