Filebeat+zookeeper+kafka+ELK

O princípio do filebeat

O Filebeat funciona assim: quando você inicia o Filebeat, ele inicia uma ou mais entradas que ele procura no local especificado para os dados de log. Para cada log que o Filebeat encontra, o Filebeat inicia um coletor. Cada coletor lê um único log para novo conteúdo e envia os novos dados de log para o libbeat, que agregará os eventos e enviará os dados agregados para a saída configurada para Filebeat

Estrutura Filebeat: Consiste em dois componentes, entradas (entradas) e coletores (coletores), que trabalham juntos para rastrear arquivos e enviar dados de eventos para a saída especificada.O coletor é responsável por ler o conteúdo de um único arquivo. O harvester lê cada arquivo linha por linha e envia o conteúdo para a saída. Inicie um harvester para cada arquivo. O harvester é responsável por abrir e fechar os arquivos, o que significa que os descritores de arquivo permanecem abertos enquanto o harvester está em execução. Se um arquivo for excluído ou renomeado enquanto estiver sendo coletado, o Filebeat continuará lendo o arquivo. Um efeito colateral disso é que o espaço no disco é reservado até que o harvester seja desligado. Por padrão, o Filebeat mantém os arquivos abertos até que close_inactive seja alcançado

Kafka

Kafka é uma fila de mensagens, que é usada principalmente para processar filas de mensagens no estado de grandes quantidades de dados e geralmente é usada para processamento de logs. Por ser uma fila de mensagens, Kafkatambém possui as características correspondentes da fila de mensagens.

Os benefícios das filas de mensagens kafka

Desacoplamento de aplicativos

amortecedor

Corte de tráfego

Processamento assíncrono

Introdução ao zookeeper

É um framework de serviço distribuído e um subprojeto do Apache Hadoop. É usado principalmente para resolver alguns problemas de gerenciamento de dados frequentemente encontrados em aplicativos distribuídos, como: serviço de nomeação unificado, serviço de sincronização de estado, gerenciamento de cluster, gerenciamento distribuído de configuração do aplicativo itens, etc

Equivalente ao sistema de arquivos + mecanismo de notificação

---

Construir Filebeat+zookeeper+kafka+ELK

Nome da CPU	IP	sistema	componentes
nó1	192.168.100.142	centos7	Elasticsearch, Elasticsearch-head, Kiabana
nó2	192.168.100.140	centos7	Elasticsearch, Elasticsearch-head
apache	192.168.100.141	centos7	httpd, logstash,
filebeat1	192.168.100.145	centos7	tratador de zoológico, kafka
filebeat2	192.168.100.134	centos7	tratador de zoológico, kafka
arquivobeat3	192.168.100.144	centos7	tratador de zoológico, kafka

Este experimento foi realizado no último experimento do ELK, portanto, não demonstrarei a implantação do ELK. Se precisar, você pode acessar meu último blog, que apresenta detalhadamente as etapas de implantação e do ELK.

Mais perto de casa, vamos começar esta experiência

1. Instale o zookeeper kafka (operar em fiebeat1 - 3)

(1) Descompacte e instale o pacote de armadura macia do zookeeper

[root@bogon opt]# tar zxvf apache-zookeeper-3.5.7-bin.tar.gz 
[root@bogon opt]# mv apache-zookeeper-3.5.7-bin /usr/local/zookeeper-3.5.7     
[root@bogon opt]# cd /usr/local/zookeeper-3.5.7/
[root@bogon conf]# cp zoo_sample.cfg zoo.cfg
[root@bogon conf]# vim zoo.cfg 

[root@bogon conf]# cd ..
[root@bogon zookeeper-3.5.7]# mkdir data logs
[root@bogon zookeeper-3.5.7]# echo 1 > data/myid
## 给每个机器指定对应的节点号 

(2) Iniciar tratador

Veja o status do zookeeper de três nós

---

(2) Instale o kafka (opera em fiebeat1 - 3)

[root@bogon bin]# cd /opt/
[root@bogon opt]# tar zxvf kafka_2.13-2.7.1.tgz 
[root@bogon opt]# mv kafka_2.13-2.7.1 /usr/local/kafka

(3) Modifique o arquivo de configuração

[root@bogon opt]# cd /usr/local/kafka/
[root@bogon kafka]# cd config/
[root@bogon config]# vim server.properties 

(4) Adicione comandos relevantes ao ambiente do sistema

[root@bogon kafka]# vim /etc/profile
[root@bogon kafka]# source /etc/profile

(5) Ativar kafka

criar tópico

(192.168.100.145)

tópico de teste

Mensagem de liberação (192.168.100.145)

Consumindo mensagens (192.168.100.145)