Storm es un marco de procesamiento de flujo en tiempo real que puede realizar segmentación, integración y otras operaciones en tiempo real en conjuntos de datos. En el sistema de procesamiento de flujos de Storm, Storm idealiza los datos en tuplas para su procesamiento y el concepto de flujos formados por tuplas. Es precisamente gracias a esta característica que Storm puede operar con datos en tiempo real.
tupla: tupla es una estructura compuesta de campo y valor. Podemos pensar en el campo del objeto como la clave en el mapa y en el valor como el valor en el mapa. Podemos pensar en una tupla como la unidad básica del procesamiento de Storm que existe como un par clave-valor.
spout: spout puede considerarse como un componente que trata directamente con el conjunto de datos de origen. Spout también sirve como fuente de datos en toda la topología. Puede haber varios spouts en una topología. El spout recibe los datos originales y no realiza ninguna operación de procesamiento. Pero spout hará algo: enviará la información del conjunto de datos de origen al perno a través del método abierto y declarará los campos contenidos en la tupla enviada por el spout actual en el método declareoutputfields. De esta forma, spout completa el envío de la tupla.
Bolt: Bolt es un componente de procesamiento de datos, su función es procesar datos y puede realizar operaciones de procesamiento de acuerdo con su propio formato. Puede haber varios tornillos en una topología. El método de ejecución en Bolt es un método utilizado para realizar operaciones de datos. Utilice el método Collector.emit para enviarlo al siguiente perno y entregue la información procesada en el primer paso al siguiente perno para su procesamiento. declareoutputfields para declarar los campos contenidos en la tupla enviada por el perno actual.
topología: la topología es un concepto lógico entre picos y pernos en el procesamiento de tormentas. La topología es creada por topologybuilder y establece la relación lógica entre los picos y los pernos.
La siguiente figura es el diagrama de estructura lógica de la topología:
nimbus: nimbus es un nodo maestro en el clúster. Cuando se envía la topología, Storm almacenará el código de topología completo en el directorio de la bandeja de entrada del nodo nimbus, luego generará un archivo stormconf.ser a partir del archivo de configuración actual de Storm en ejecución y lo colocará en el directorio stormdist xia del nodo nimbus. El directorio también contiene el código de topología después de la serialización.
supervisor: el nodo supervisor es el nodo trabajador en el clúster. Puede considerarse como una máquina física como nodo supervisor. El supervisor sondea continuamente el grupo de cuidadores del zoológico para recibir las tareas asignadas e inicia a los trabajadores para ejecutar las tareas. La información de asignación de tareas, el directorio de almacenamiento de código y las relaciones entre tareas de todas las topologías se guardan en asignaciones en zookeeper.
Trabajador: un trabajador puede verse como un proceso que se ejecuta en el nodo supervisor y cada trabajador ocupa un puerto. La cantidad de ejecuciones de trabajadores se puede crear y configurar a través de la configuración.
Tarea: una tarea puede considerarse como la ejecución de un pico o un perno. El constructor puede establecer el número de ejecuciones de la tarea al configurar el pico o el perno.
ejecutor: el ejecutor puede considerarse como una operación por lotes de uno o más picos (pernos). Sin embargo, los tipos de pico y perno no pueden aparecer al mismo tiempo en operaciones por lotes.
Nota: Soy un novato en Storm, solo he estado viendo Storm durante tres días, así que escribiré algo de mi comprensión de algunos conceptos de Storm. Hay muchas cosas que no entiendo, así que por favor dame alguna orientación. El propósito de escribir un resumen es muy simple, solo dejar que el maestro señale sus errores. Se corregirá continuamente más adelante.