Comprensión profunda de las palabras clave de ElasticSearch (2)

• capacidades de canalización en tiempo real

• Códecs

  Los códecs son básicamente filtros de flujo que pueden operar como parte de la entrada o salida.

  Los códigos le permiten separar fácilmente el transporte de sus mensajes del proceso de serialización.

  Codecs populares incluyen json, msgpacky plain.

  Un complemento de códec cambia la representación de datos de un evento. Los códecs son esencialmente filtros de flujo que pueden funcionar como parte de una entrada o salida.

• Beats

  Beats son remitentes de datos de código abierto que instalas como agentes en tus servidores para enviar datos operativos a Elasticsearch.

• ILM (gestión del ciclo de vida del índice)

  Use la función de administración del ciclo de vida del índice ( ILM ) en Elasticsearch para administrar sus índices Filebeat a medida que envejecen.

  ILM define cuatro fases del ciclo de elevación del índice :

  • Caliente : el índice se está actualizando y consultando activamente
  • Caliente : el índice ya no se actualiza, pero aún se consulta
  • Frío : el índice ya no se actualiza y rara vez se consulta. La información aún debe poder buscarse, pero está bien si esas consultas son más lentas
  • Eliminar : el índice ya no es necesario y se puede eliminar de forma segura

  La política del ciclo de vida de un índice especifica qué fases son aplicables, qué acciones se realizan en cada fase y cuándo pasa de una fase a otra.

• Flujo de datos

  Recomendamos usar flujos de datos para administrar datos de series de tiempo.

  Un flujo de datos le permite almacenar datos de series temporales de solo anexos en varios índices mientras le brinda un único recurso con nombre para las solicitudes.

  Un flujo de datos consta de uno o más índices de respaldo ocultos y generados automáticamente .

  Cada flujo de datos requiere una plantilla de índice coincidente . La misma plantilla de índice se puede utilizar para varios flujos de datos .

• Plantilla de índice

  Una plantilla de índice es una forma de decirle a Elasticsearch cómo configurar un índice cuando se crea.

  Hay dos tipos de plantillas, plantillas de índice y plantillas de componentes .

• filebeat -e

  En el Linuxsistema, incluido el dockercontenedor, filebetase requiere el comando para iniciar :sudo ./filebeat -e

• Segador

  Filebeatconsta de dos componentes principales: inputsy harvesters.

  A harvesteres responsable de leer el contenido de un solo archivo.

  El recolector lee cada archivo, línea por línea, y envía el contenido a la salida.

  Se inicia una cosechadora para cada archivo.

• Go Glob

  func Glob(pattern string) (matches [] string, err error)
  

  Glob devuelve los nombres de todos los archivos que coinciden con el patrón o nulo si no hay ningún archivo que coincida.

  La sintaxis de los patrones es la misma que en Match.

• Corriente de registro

  Un flujo de registro es una secuencia de eventos de registro que comparten la misma fuente.

• rotación de archivos

  Al tratar con la rotación de archivos , evite recolectar enlaces simbólicos.

  En tecnología de la información, la rotación de registros es un proceso automatizado utilizado en la administración del sistema en el que los archivos de registro se comprimen, mueven (archivan), cambian de nombre o eliminan una vez que son demasiado antiguos o demasiado grandes.

  Los nuevos datos de registro entrantes se dirigen a un archivo nuevo que se encuentra en la misma ubicación.

• Seccomp

  " Comprensión de Seccomp "

  En Linux 3.17 y posterior, Filebeat puede aprovechar el modo informático seguro, también conocido como seccomp .

• Asignaciones de índices, configuraciones, alias

  Componente de las plantillas son bloques de construcción para la construcción de plantillas principales que especifican el índice mappings, settingsy aliases.

• cartografía

  Mappinges el proceso de definir cómo se almacenan e indexan a document, y lo fieldsque contiene.

  Una definición de mapeo tiene: Metadata fields, Fields.

  Metadata fieldsse utilizan para personalizar la forma de tratar los metadatos asociados de un documento, como _index, _idy _source, _typecampos.

  UN

• ajuste

  Index Modules son módulos creados por índice y controlan todos los aspectos relacionados con un índice.

  La configuración del nivel de índice se puede establecer por índice.

• alias

  An index aliases un nombre secundario que se utiliza para referirse a uno o más guiones existentes.

• Procesadores

  Puede definir procesadores en su configuración para procesar eventos antes de que se envíen a la salida configurada.

  La biblioteca libbeat proporciona procesadores para:

  • reduciendo el número de campos exportados
  • mejorar eventos con metadatos adicionales
  • realizar procesamiento y decodificación adicionales

  Cada procesador recibe un evento, aplica una acción definida al evento y devuelve el evento.

• Análisis de texto

  Text analysis es el proceso de convertir texto sin estructura, como el cuerpo de un correo electrónico o la descripción de un producto, en un formato estructurado optimizado para la búsqueda.