版权声明：欢迎转载，转载请注明出处！ https://blog.csdn.net/miss1181248983/article/details/90182403
ELK集群部署（五）
ELK 是 elastic 公司旗下三款产品ElasticSearch、Logstash、Kibana的首字母组合，也即Elastic Stack包含ElasticSearch、Logstash、Kibana、Beats。ELK提供了一整套解决方案，并且都是开源软件，之间互相配合使用，完美衔接，高效的满足了很多场合的应用，是目前主流的一种日志系统。
ElasticSearch 一个基于 JSON 的分布式的搜索和分析引擎，作为 ELK 的核心，它集中存储数据，
用来搜索、分析、存储日志。它是分布式的，可以横向扩容，可以自动发现，索引自动分片
Logstash 一个动态数据收集管道，支持以 TCP/UDP/HTTP 多种方式收集数据（也可以接受 Beats 传输来的数据），
并对数据做进一步丰富或提取字段处理。用来采集日志，把日志解析为json格式交给ElasticSearch
Kibana 一个数据可视化组件，将收集的数据进行可视化展示（各种报表、图形化数据），并提供配置、管理 ELK 的界面
Beats 一个轻量型日志采集器，单一用途的数据传输平台，可以将多台机器的数据发送到 Logstash 或 ElasticSearch
X-Pack 一个对Elastic Stack提供了安全、警报、监控、报表、图表于一身的扩展包，不过收费
官网：https://www.elastic.co/cn/ ，中文文档：https://elkguide.elasticsearch.cn/
下载elk各组件的旧版本：
https://www.elastic.co/downloads/past-releases
环境准备
- 角色划分：
系统：CentOS 7
es主节点/es数据节点/kibana/head 192.168.100.128
es主节点/es数据节点 192.168.100.129
es主节点/es数据节点 192.168.100.130
kafka集群/zookeeper集群/logstash 192.168.100.131
kafka集群/zookeeper集群/logstash 192.168.100.132
kafka集群/zookeeper集群/logstash 192.168.100.133
日志测试/logstash/filebeat 192.168.100.134
- 全部关闭防火墙和selinux：
# systemctl stop firewalld && systemctl disable firewalld
# sed -i 's/=enforcing/=disabled/g' /etc/selinux/config && setenforce 0
- 全部配置系统环境：
# vim /etc/security/limits.conf
* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096
# vim /etc/sysctl.conf
vm.max_map_count=655360
# sysctl -p
- 全部安装Java环境：
# tar zxf jdk-8u191-linux-x64.tar.gz && mv jdk1.8.0_191/ /usr/local/jdk
# vim /etc/profile
JAVA_HOME=/usr/local/jdk
PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/jre/lib
export JAVA_HOME PATH CLASSPATH
# source !$
# java -version
# ln -s /usr/local/jdk/bin/java /usr/local/bin/java
ELK结合Kafka
生产初期，Service服务较少，访问量较少，使用ELFK集群就可以满足生产需求。但随着业务量的不断增加，日志量成倍增长，针对此情况，需要对ELK增加消息队列，以减轻前端ES集群的压力。
那么选择redis还是kafka作为消息队列呢？从以下三点考虑：
* 消息推送的可靠性：
Redis 消息推送（基于分布式 Pub/Sub）多用于实时性较高的消息推送，并不保证可靠。
Redis-Pub/Sub 断电就会清空数据，而使用 Redis-List 作为消息推送虽然有持久化，也并非完全可靠不会丢失。
Kafka 虽然有一些延迟但保证可靠。
* 订阅功能的分组：
Redis 发布订阅除了表示不同的 topic 外，并不支持分组。
Kafka 中发布一个内容，多个订阅者可以分组，同一个组里只有一个订阅者会收到该消息，这样可以用作负载均衡。
* 集群资源的消耗：
Redis 3.0之后个有提供集群ha机制，但是要为每个节点都配置一个或者多个从节点，从节点从主节点上面拉取数据，主节点挂了，从节点顶替上去成为主节点，但是这样对资源比较浪费。
Kafka 作为消息队列，能充分的运用集群资源，每个应用相当于一个topic，一个topic可拥有多个partition，并且partition能轮询分配到每个节点上面，并且生产者生产的数据也会均匀的放到partition中，
即使上层只有1个应用kafka集群的资源也会被充分的利用到，这样就避免了redis集群出现的数据倾斜问题，并且kafka有类似于hdfs的冗余机制，一个broker挂掉了不影响整个集群的运行。
这里，我们选择kafka作为消息队列，配置kafka集群，结合ELFK集群收集应用日志。
ELK集群安装参考这里：ELK集群搭建（一）
kafka集群安装
Apache kafka是消息中间件的一种，是一种分布式的、基于发布/订阅的消息系统。能实现一个为处理实时数据提供一个统一、高吞吐、低延迟的平台，且拥有分布式的，可划分的，冗余备份的持久性的日志服务等特点。
- 整体架构：
- 环境准备：
kafka集群/zookeeper集群/logstash 192.168.100.131
kafka集群/zookeeper集群/logstash 192.168.100.132
kafka集群/zookeeper集群/logstash 192.168.100.133
- 全部下载安装kafka：
# cd /software
# wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.2.0/kafka_2.11-2.2.0.tgz
# tar zxf kafka_2.11-2.2.0.tgz && mv kafka_2.11-2.2.0 /usr/local/kafka
- 全部修改zookeeper配置：
# vim /usr/local/kafka/config/zookeeper.properties
dataDir=/usr/local/kafka/zookeeper
clientPort=2181
maxClientCnxns=1024
tickTime=2000
initLimit=20
syncLimit=10
server.1=192.168.100.131:2888:3888
server.2=192.168.100.132:2888:3888
server.3=192.168.100.133:2888:3888
说明：
tickTime : 这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳。
2888 端口：表示的是这个服务器与集群中的 Leader 服务器交换信息的端口。
3888 端口：表示的是万一集群中的 Leader 服务器挂了，需要一个端口来重新进行选举，选出一个新的 Leader ，而这个端口就是用来执行选举时服务器相互通信的端口。
- 创建所需目录、文件：
在zookeeper目录下创建myid文件，里面的内容为数字，用于标识主机，如果这个文件没有的话，zookeeper是没法启动的。
# mkdir /usr/local/kafka/zookeeper
# echo 1 > /usr/local/kafka/zookeeper/myid #另两台机器分别输入2/3，每台机器id不同即可
- 修改kafka配置：
# vim /usr/local/kafka/config/server.properties
broker.id=1 #ID唯一，填数字，本文中分别为1/2/3
port=9092
host.name=192.168.100.131 #本机ip
log.dirs=/data/kafka/kafka-logs #数据存放目录，不是日志目录
num.partitions=16 #每个topic的默认分区数
log.retention.hours=168 #过期时间，默认为1周
zookeeper.connect=192.168.100.131:2181,192.168.100.132:2181,192.168.100.133:2181 #zookeeper ip及端口
# mkdir -p /data/kafka
其它两台机器照着上面配置即可，此处过程省略。
- 配置zookeeper服务：
# vim /usr/bin/zk_kafka
#!/bin/bash
#chkconfig: 2345 55 24
#description: zookeeper and kafka service manager
BASE_DIR=/usr/local/kafka
SERVICE=$1
START_ZK()
{
cd $BASE_DIR
nohup $BASE_DIR/bin/zookeeper-server-start.sh $BASE_DIR/config/zookeeper.properties &>/dev/null &
}
STOP_ZK()
{
cd $BASE_DIR
nohup $BASE_DIR/bin/zookeeper-server-stop.sh &>/dev/null &
}
START_KAFKA()
{
cd $BASE_DIR
nohup $BASE_DIR/bin/kafka-server-start.sh $BASE_DIR/config/server.properties &>/dev/null &
}
STOP_KAFKA()
{
cd $BASE_DIR
nohup $BASE_DIR/bin/kafka-server-stop.sh &>/dev/null &
}
if [ -z "$1" ];
then
echo $"Usage: $0 {zookeeper|kafka} {start|stop|restart}"
exit 0
else
if [ "$1" != "zookeeper" ] && [ "$1" != "kafka" ];
then
echo $"Usage: $0 {zookeeper|kafka} {start|stop|restart}"
exit 1
fi
fi
START()
{
if [ "$SERVICE" = "zookeeper" ];
then
START_ZK
if [ $? -eq 0 ];
then
echo -e "\033[32m Start $SERVICE OK. \033[0m"
fi
else
START_KAFKA
if [ $? -eq 0 ];
then
echo -e "\033[32m Start $SERVICE OK. \033[0m"
fi
fi
}
STOP()
{
if [ "$SERVICE" = "zookeeper" ];
then
STOP_ZK
if [ $? -eq 0 ];
then
echo -e "\033[32m Stop $SERVICE OK. \033[0m"
fi
else
STOP_KAFKA
if [ $? -eq 0 ];
then
echo -e "\033[32m Stop $SERVICE OK. \033[0m"
fi
fi
}
case "$2" in
start)
START
;;
stop)
STOP
;;
restart)
STOP
sleep 2
START
;;
*)
echo $"Usage: $0 {zookeeper|kafka} {start|stop|restart}"
exit 1
;;
esac
exit 0
- 全部启动zookeeper：
这里先要启动zookeeper集群，才能启动kafka。
# chmod +x /usr/bin/zk_kafka
# zk_kafka zookeeper start
# netstat -lntp | grep -E "2181|2888|3888" #检查端口，拥有2888端口为leader
tcp6 0 0 192.168.100.132:2888 :::* LISTEN 6787/java
tcp6 0 0 192.168.100.132:3888 :::* LISTEN 6787/java
tcp6 0 0 :::2181 :::* LISTEN 6787/java
- 全部启动kafka：
zookeeper集群已经启动起来了，下面启动kafka。
# zk_kafka kafka start
- 创建一个topic（192.168.100.131上）：
任选一台机器，这里我是192.168.100.131
# /usr/local/kafka/bin/kafka-topics.sh --create --zookeeper 192.168.100.131:2181 --replication-factor 3 --partitions 1 --topic test #注意：factor大小不能超过broker的个数
Created topic test.
- 查看已创建的topic：
任选一台机器，这里我是192.168.100.132
# /usr/local/kafka/bin/kafka-topics.sh --list --zookeeper 192.168.100.132:2181
test
查看topic test的详情
# /usr/local/kafka/bin/kafka-topics.sh --describe --zookeeper 192.168.100.132:2181 --topic test
Topic:test PartitionCount:1 ReplicationFactor:3 Configs:
Topic: test Partition: 0 Leader: 1 Replicas: 1,2,3 Isr: 1,2,3
上面，
#主题名称：test
#Partition:只有一个，从0开始
#leader ：id为1的broker
#Replicas 副本存在于broker id为1,2,3的上面
#Isr:活跃状态的broker
- 发送消息，使用生产者角色：
任选一台机器，这里我是192.168.100.131
# /usr/local/kafka/bin/kafka-console-producer.sh --broker-list 192.168.100.131:9092 --topic test
>This is a test message for kafka producer
>welcome
>let's go
- 接收消息，使用消费者角色：
任选一台机器，这里我是192.168.100.133
# /usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server 192.168.100.133:9092 --topic test --from-beginning # --from-beginning表示从开始接收，否则只接收新产生的消息
This is a test message for kafka producer
welcome
let's go
可以看到，以上是Kafka生产者和消费者的测试，基于Kafka的Zookeeper集群没有问题。
安装logstash+filebeat
- 需要安装：
192.168.100.131 logstash
192.168.100.132 logstash
192.168.100.133 logstash
192.168.100.134 logstash+filebeat
- 安装logstash：
# cd /software
# tar zxf logstash-6.7.1.tar.gz && mv logstash-6.7.1/ /usr/local/logstash
# mkdir /usr/local/logstash/conf.d
# useradd elk
# vim /usr/local/logstash/config/logstash.yml
http.host: "192.168.100.131" #填本机ip
http.port: 9600
xpack.monitoring.enabled: true
xpack.monitoring.elasticsearch.username: logstash_system
xpack.monitoring.elasticsearch.password: elk-2019
xpack.monitoring.elasticsearch.hosts: ["http://192.168.100.128:9200","http://192.168.100.129:9200","http://192.168.100.130:9200"]
xpack.monitoring.collection.interval: 10s
- 配置logstash服务：
服务配置文件
# vim /etc/default/logstash
LS_HOME="/usr/local/logstash"
LS_SETTINGS_DIR="/usr/local/logstash"
LS_PIDFILE="/usr/local/logstash/run/logstash.pid"
LS_USER="elk"
LS_GROUP="elk"
LS_GC_LOG_FILE="/usr/local/logstash/logs/gc.log"
LS_OPEN_FILES="16384"
LS_NICE="19"
SERVICE_NAME="logstash"
SERVICE_DESCRIPTION="logstash"
服务文件
# vim /etc/systemd/system/logstash.service
[Unit]
Description=logstash
[Service]
Type=simple
User=elk
Group=elk
# Load env vars from /etc/default/ and /etc/sysconfig/ if they exist.
# Prefixing the path with '-' makes it try to load, but if the file doesn't
# exist, it continues onward.
EnvironmentFile=-/etc/default/logstash
EnvironmentFile=-/etc/sysconfig/logstash
ExecStart=/usr/local/logstash/bin/logstash "--path.settings" "/usr/local/logstash/config" "--path.config" "/usr/local/logstash/conf.d"
Restart=always
WorkingDirectory=/
Nice=19
LimitNOFILE=16384
[Install]
WantedBy=multi-user.target
管理服务：
# mkdir /usr/local/logstash/{run,logs} && touch /usr/local/logstash/run/logstash.pid
# touch /usr/local/logstash/logs/gc.log && chown -R elk:elk /usr/local/logstash
# systemctl daemon-reload
# systemctl enable logstash
- 安装filebeat：
# tar zxf filebeat-6.7.1-linux-x86_64.tar.gz && mv filebeat-6.7.1-linux-x86_64 /usr/local/filebeat
- 配置filebeat服务：
服务文件
# vim /usr/lib/systemd/system/filebeat.service
[Unit]
Description=Filebeat sends log files to Logstash or directly to Elasticsearch.
Documentation=https://www.elastic.co/products/beats/filebeat
Wants=network-online.target
After=network-online.target
[Service]
ExecStart=/usr/local/filebeat/filebeat -c /usr/local/filebeat/filebeat.yml -path.home /usr/local/filebeat -path.config /usr/local/filebeat -path.data /usr/local/filebeat/data -path.logs /usr/local/filebeat/logs
Restart=always
[Install]
WantedBy=multi-user.target
管理服务：
# mkdir /usr/local/filebeat/{data,logs}
# systemctl daemon-reload
# systemctl enable filebeat
结合kafka
这里，我们以收集nginx访问日志/var/log/nginx/access.log和系统日志/var/log/messages为例，测试ELFK与kafka结合。
192.168.100.134上配置nginx和logstash
- nginx日志配置：
# yum install -y nginx
# vim /etc/nginx/nginx.conf #默认设置
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
# access_log /var/log/nginx/access.log main;
# vim /etc/nginx/conf.d/elk.conf
server {
listen 80;
server_name elk.test.com;
location / {
proxy_pass http://192.168.100.128:5601;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}
access_log /var/log/nginx/elk.log main;
}
电脑 hosts文件添加一行：192.168.100.134 elk.test.com。
- 配置filebeat：
# vim /usr/local/filebeat/filebeat.yml
filebeat.inputs:
- type: log
enabled: true
paths:
- /var/log/messages #系统日志
fields:
log_topics: sys_messages-log
- type: log
enabled: true
paths:
- /var/log/nginx/elk.log #nginx访问日志
fields:
log_topics: nginx_access-log
output.kafka:
enabled: true
hosts: ["192.168.100.131:9092","192.168.100.132:9092","192.168.100.133:9092"]
topic: '%{[fields][log_topics]}'
- 配置logstash（可选部分）：
除了使用filebeat收集日志输出到kafka之外，还可以通过logstash收集日志到kafka，这一步不需要过滤。
# vim /usr/local/logstash/conf.d/test.conf
input {
file {
path => "/var/log/messages"
#start_position => "beginning"
type => "sys_messages"
sincedb_path => "/dev/null"
}
file {
path => "/var/log/nginx/elk.log"
#start_position => "beginning"
type => "nginx_access"
sincedb_path => "/dev/null"
}
}
output {
if [type] == "sys_messages" {
kafka {
bootstrap_servers => "192.168.100.131:9092,192.168.100.132:9092,192.168.100.133:9092"
topic_id => "sys_messages-log"
compression_type => "snappy" #消息压缩模式
}
}
if [type] == "nginx_access" {
kafka {
bootstrap_servers => "192.168.100.131:9092,192.168.100.132:9092,192.168.100.133:9092"
topic_id => "nginx_access-log"
compression_type => "snappy"
}
}
}
# chown -R elk:elk /usr/local/logstash
# /usr/local/logstash/bin/logstash-plugin install logstash-output-kafka
# /usr/local/logstash/bin/logstash -f /usr/local/logstash/conf.d/test.conf -t #显示OK说明配置文件没问题
- kafka集群创建topic：
任选一台机器创建
# /usr/local/kafka/bin/kafka-topics.sh --create --zookeeper 192.168.100.131:2181 --replication-factor 3 --partitions 1 --topic sys_messages-log
Created topic sys_messages-log.
# /usr/local/kafka/bin/kafka-topics.sh --create --zookeeper 192.168.100.131:2181 --replication-factor 3 --partitions 1 --topic nginx_access-log
Created topic nginx_access-log.
- grok过滤nginx访问日志：
%{IPV4:remote_addr} - (%{USERNAME:user}|-) \[%{HTTPDATE:log_timestamp}\] \"%{WORD:method} %{DATA:request} HTTP/%{NUMBER:httpversion}\" %{NUMBER:status} %{NUMBER:bytes} %{QS:referer} %{QS:agent} %{QS:xforward}
- kafka集群logstash配置：
所有kafka集群机器进行配置。作为kafka集群，所有消息的过滤（消费）在这里进行。
# vim /usr/local/logstash/conf.d/messages.conf
input {
kafka {
bootstrap_servers => "192.168.100.131:9092,192.168.100.132:9092,192.168.100.133:9092"
group_id => "system" #默认为logstash
topics => "sys_messages-log"
auto_offset_reset => "latest" #从最新的偏移量开始消费
consumer_threads => 5 #消费的线程数
decorate_events => true #在输出消息的时候回输出自身的信息，包括：消费消息的大小、topic来源以及consumer的group信息
type => "sys_messages"
}
}
output {
elasticsearch {
hosts => ["192.168.100.128:9200","192.168.100.129:9200","192.168.100.130:9200"]
user => "elastic"
password => "elk-2019"
index => "sys_messages.log-%{+YYYY.MM.dd}"
}
}
# vim /usr/local/logstash/conf.d/nginx.conf
input {
kafka {
bootstrap_servers => "192.168.100.131:9092,192.168.100.132:9092,192.168.100.133:9092"
group_id => "nginx"
topics => "nginx_access-log"
auto_offset_reset => "latest"
consumer_threads => 5
decorate_events => true
type => "nginx_access"
}
}
filter {
if [type] == "nginx_access" {
grok {
match => [ "message", "%{IPV4:remote_addr} - (%{USERNAME:user}|-) \[%{HTTPDATE:log_timestamp}\] \"%{WORD:method} %{DATA:request} HTTP/%{NUMBER:httpversion}\" %{NUMBER:status} %{NUMBER:bytes} %{QS:referer} %{QS:agent} %{QS:xforward}"]
}
}
}
output {
elasticsearch {
hosts => ["192.168.100.128:9200","192.168.100.129:9200","192.168.100.130:9200"]
user => "elastic"
password => "elk-2019"
index => "nginx_access.log-%{+YYYY.MM.dd}"
}
}
# chown -R elk:elk /usr/local/logstash
# /usr/local/logstash/bin/logstash-plugin install logstash-input-kafka
# /usr/local/logstash/bin/logstash -f /usr/local/logstash/conf.d/messages.conf -t #显示OK说明配置文件没问题
# /usr/local/logstash/bin/logstash -f /usr/local/logstash/conf.d/nginx.conf -t
- 启动相关服务：
# systemctl start nginx #192.168.100.134
# systemctl start filebeat #192.168.100.134
或者 systemctl start logstash
# systemctl start logstash #kafka集群
可以查看logstash日志
# tail -f /usr/local/logstash/logs/logstash-plain.log
- kibana页面查看：
var/log/messages输入数据：
# echo "该消息是通过Kafka队列到达ES集群！！！" >> /var/log/messages
# echo "该消息是通过Kafka队列到达ES集群！！！" >> /var/log/messages
# echo "该消息是通过Kafka队列到达ES集群！！！" >> /var/log/messages
可以看到，filebest与kafka结合收集的系统日志是没有问题的。
/var/log/nginx/access.log输入数据：
浏览器访问elk.test.com，以产生访问日志。
# echo "该消息是NGINX日志通过Kafka队列到达ES集群！！！" >> /var/log/nginx/elk.log
# echo "该消息是NGINX日志通过Kafka队列到达ES集群！！！" >> /var/log/nginx/elk.log
# echo "该消息是NGINX日志通过Kafka队列到达ES集群！！！" >> /var/log/nginx/elk.log
至此，ELFK集群结合kafka集群收集日志完成。
可以看到，过滤条件没有完全设置好，因为是以json格式传输的，可以在配置文件中添加一行：codec => json，不过logstash和filebeat结合kafka输出日志到elasticsearch集群是没有问题的。