-
Visión general
A
moduleen Filebeat es una forma de analizar un formato de archivo de registro específico para un software en particular. -
Tubería
A
pipelinees una definición de una serie deprocessorsque se ejecutarán en el mismo orden en que se declararon.Una canalización consta de dos campos principales:
-
a
description:El
descriptiones un campo especial para almacenar una descripción útil de lo que hace el gasoducto -
una lista de
processors:El
processorsparámetro define una lista de procesadores que se ejecutarán en orden
{ "description" : "...", "processors" : [...] } -
-
Lenguaje de secuencias de comandos indoloro
Paless es un lenguaje de scripting simple y seguro diseñado específicamente para su uso con Elasticsearch.
Es el lenguaje de secuencias de comandos predeterminado para Elasticsearch y se puede utilizar de forma segura para secuencias de comandos almacenadas y en línea.
-
Cartografía
El mapeo es el proceso de definir cómo se almacenan e indexan a
document, y lofieldsque contiene.Una definición de mapeo tiene:
-
Los campos de metadatos se utilizan para personalizar cómo se tratan los metadatos asociados a un documento.
Ejemplos de campos de metadatos del documento incluyen
_index,_idy_sourcecampos. -
Un mapeo contiene una lista de
fieldspropiedades pertinentes al documento.Cada campo tiene el suyo
data type.
La definición de demasiados campos en un índice puede provocar una explosión de mapeo , lo que puede provocar errores de memoria insuficiente y situaciones difíciles de recuperar.
Hay dos formas de implementar el mapeo:
-
Una de las características más importantes de Elasticsearch es que intenta salirse de su camino y le permite comenzar a explorar sus datos lo más rápido posible.
Para crear un índice
document, que no tiene que crear primero unaindex, definir una asignacióntype, y definir sufields- puede simplemente índice de unadocumenty elindex,typeyfieldsse vienen a la vida de forma automática.La detección automática y la adición de nuevos campos se denomina mapeo dinámico :
-
Mapeo explícito
-
-
modelo de replicación de datos
Cada uno
indexen Elasticsearch se divide enshardsy cada unoshardpuede tener varias copias.Estas copias se conocen como a
replication groupy deben mantenerse sincronizadas cuando se agregan o eliminan documentos.El proceso de mantener sincronizadas las copias de fragmentos y entregar las lecturas es lo que llamamos modelo de replicación de datos .
Este modelo se basa en tener una sola copia del grupo de replicación que actúa como el
primary shard, las otras copias se llamanreplica shards. -
Ingesta nodo
Los módulos integrados utilizan casi por completo la
Ingest nodefunción de Elasticsearch en lugar de los procesadores Beats.Una de las partes más útiles de la canalización de ingesta es la capacidad de depurar mediante la API de simulación de canalización .
La API de simulación de canalización ejecuta una canalización específica en un conjunto de documentos proporcionados en el cuerpo de la solicitud.
Puede especificar una canalización existente para ejecutar en los documentos proporcionados o proporcionar una definición de canalización en el cuerpo de la solicitud.
Puede utilizar la API de simulación de canalización para ver cómo afecta cada procesador al documento de ingesta a medida que pasa por la canalización. Para ver los resultados intermedios de cada procesador en la solicitud de simulación, puede agregar el
verboseparámetro a la solicitud.La canalización de Ingest funciona a nivel de documento, aún necesita verificar las excepciones donde se generan los registros y dejar que Filebeat cree un solo mensaje a partir de eso.
-
Campos de suricata
-
Referencias
Comprenda ElasticSearch de nuevo
Supongo que te gusta
Origin blog.csdn.net/The_Time_Runner/article/details/113001917
Recomendado
Clasificación