Storm é uma estrutura de processamento de fluxo em tempo real que pode realizar segmentação, integração e outras operações em tempo real em conjuntos de dados. No sistema de processamento de fluxo Storm, Storm idealiza os dados em tuplas para processamento, e o conceito de fluxos formados por tuplas. É justamente por esse recurso que o storm pode operar sobre dados em tempo real.
tupla: tupla é uma estrutura composta de campo e valor. Podemos pensar no campo do objeto como a chave do mapa e no valor como o valor no mapa. Podemos pensar em uma tupla como a unidade básica de processamento do Storm que existe como um par chave-valor.
spout: spout pode ser considerado como um componente que lida diretamente com o conjunto de dados de origem. O spout também serve como fonte de dados em toda a topologia. Pode haver vários spouts em uma topologia. O spout recebe os dados originais e não executa nenhuma operação de processamento. Mas o spout fará alguma coisa: o spout enviará as informações do conjunto de dados de origem para o bolt através do método open e declarará os campos contidos na tupla enviada pelo spout atual no método declareoutputfields. Dessa forma, o spout conclui o envio da tupla.
Bolt: Bolt é um componente de processamento de dados, cuja função é processar dados, podendo realizar operações de processamento de acordo com seu próprio formato. Pode haver vários parafusos em uma topologia. O método execute em bolt é um método usado para realizar operações de dados. Use o métodocollector.emit para enviá-lo para o próximo parafuso e entregue as informações processadas na primeira etapa para o próximo parafuso para processamento. declareoutputfields para declarar os campos contidos na tupla enviada pelo bolt atual.
topologia: topologia é um conceito lógico entre spouts e bolts no processamento de tempestades. A topologia é criada pelo topologybuilder e define o relacionamento lógico entre spouts e bolts.
A figura a seguir é o diagrama da estrutura lógica da topologia:
nimbus: nimbus é um nó mestre no cluster. Quando a topologia for enviada, o Storm armazenará todo o código da topologia no diretório inbox do nó nimbus; em seguida, gerará um arquivo stormconf.ser para o arquivo de configuração atual do storm em execução e o colocará no diretório stormdist xia do nó nimbus. O diretório também contém o código de topologia após a serialização.
supervisor: O nó supervisor é o nó do trabalhador no cluster. Pode ser considerado uma máquina física como um nó supervisor. O supervisor pesquisa continuamente o cluster do zookeeper para receber as tarefas atribuídas e inicia os trabalhadores para executar as tarefas. As informações de alocação de tarefas, diretório de armazenamento de código e relacionamentos entre tarefas de todas as topologias são salvos em atribuições no zookeeper.
Trabalhador: Um trabalhador pode ser considerado um processo em execução no nó supervisor. Cada trabalhador ocupa uma porta. O número de execuções de trabalho pode ser criado e definido por meio de configuração.
Tarefa: Uma tarefa pode ser considerada como a execução de uma bica ou parafuso. O número de execuções da tarefa pode ser definido pelo construtor na configuração da bica ou parafuso.
executor: executor pode ser considerado como uma operação em lote de um ou mais bicos (parafusos). No entanto, os tipos de bico e parafuso não podem aparecer ao mesmo tempo em operações em lote.
Nota: sou um novato em Storm. Só estou assistindo Storm há três dias, então vou escrever um pouco do meu entendimento sobre alguns conceitos de Storm. Há muitas coisas que não entendo, então, por favor, me dê alguma orientação. O objetivo de escrever um resumo é muito simples, basta deixar o mestre apontar seus erros. Será continuamente corrigido posteriormente.