Propósito
Cree una carpeta donde se almacenen algunos archivos de texto, el sistema monitorea esta carpeta en tiempo real y, cuando hay un cambio de archivo, realizará automáticamente la función de almacenamiento (empuje el contenido del archivo a la biblioteca de búsqueda),
El sistema de búsqueda puede buscar instantáneamente el contenido del archivo.
Dependencia tecnológica
1. Detección y almacenamiento de archivos NIFI
2. Almacenamiento y búsqueda de memoria de ElasticSearch-File
3. Kibana es responsable de probar la base de datos Elastic (función de herramienta de desarrollo)
Configuración de transmisión de NiFi
Visión de conjunto
ListFile -》 FetchFile -》 ExtractText -》 AttributeToJson -》 PutElasticHttp
ListFile
Especifique la carpeta de observación.
FetchFile
La configuración no necesita ser modificada.
Conozca el contenido del archivo obtenido y guárdelo en el contenido del flujo.
Extraer texto
Se agregó el último atributo, fullContent, cuyo valor es capturar todo el contenido del archivo.
Este atributo aparecerá como un atributo de flujo.
AttributesToJSON
En la primera línea, especifique el nombre del atributo a convertir.
La tercera línea, ejecuta los datos JSON convertidos y guarda la ubicación, ya sea contenido o atributo.
PutElasticHttp
En la primera línea, se ejecuta el servidor elástico.
Penúltimo a la quinta fila
Especifique las características almacenadas en elástico, identificación del documento + nombre del índice + tipo de índice
Prueba
Crea un archivo que contenga hello kitty.
Consulta palabras clave de kitty en kibana:
Referencia:
https://gitee.com/streamone/full-text-search-in-action/blob/master/doc/ElasticSearch%20%E5%85%A8%E6%96%87%E6%A3%80%E7% B4% A2% E5% AE% 9E% E6% 88% 98.md