ELK集群安装

ELK集群安装

1.1 说明

1.1.1 前言

在大型运维环境当中，运维工程师或机房管理员通常需要面对大量的服务器等设备。在 对于这些服务器维护时，有一个很重要的工作就是查看每台服务器的日志信息、分析日志信 息，而每天逐台检查的方式显然效率比较低下。传统的方式是通过搭建日志服务器，将所有 服务器的日志收集到日志服务器统一查看。但是面对众多的日志数据很难去分析以及查找所 需要的内容，即很难快速定位是否出现故障，以及哪些机器、哪些服务存在故障。而 ELK 可以很好地解决这一问题。

1.1.2 ELK日志分析系统简介

ELK平台是一套完整的日志集中处理解决方案，将ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用， 完成更强大的用户对日志的查询、排序、统计需求。

ElasticSearch：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。
Elasticsearch 是用 Java 开发的，可通过 RESTful Web 接口，让用户可以通过浏览器与 Elasticsearch 通信。
Elasticsearch 是个分布式搜索和分析引擎，优点是能对大容量的数据进行接近实时的存储、搜索和分析操作。

Logstash：作为数据收集引擎。它支持动态的从各种数据源搜集数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储到用户指定的位置,一般会发送给 Elasticsearch。
Logstash 由JRuby 语言编写，运行在 Java 虚拟机（JVM）上，是一款强大的数据处理工具， 可以实现数据传输、格式处理、格式化输出。Logstash 具有强大的插件功能，常用于日志处理。

Kibana：是基于 Node.js 开发的展示工具，可以为 Logstash 和 ElasticSearch 提供图形化的日志分析 Web 界面展示，可以汇总、分析和搜索重要数据日志。

Filebeat：轻量级的开源日志文件数据搜集器。通常在需要采集数据的客户端安装 Filebeat，并指定目录与日志格式，Filebeat 就能快速收集数据，并发送给 logstash 进行解析，或是直接发给 Elasticsearch 存储，性能上相比运行于 JVM 上的 logstash 优势明显，是对它的替代。

1.1.3 ELK优势

日志主要包括系统日志、应用程序日志和安全日志。 系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷， 性能安全性， 从而及时采取措施纠正错误。

往往单台机器的日志我们使用grep、awk等工具就能基本实现简单分析，但是当日志被分散的储存不同的设备上。 如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。 当务之急我们使用集中化的日志管理， 例如∶ 开源的syslog，将所有服务器上的日志收集汇总。集中化管理日志后， 日志的统计和检索又成为一件比较麻烦的事情，一般我们使用grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。

一般大型系统是一个分布式部署的架构，不同的服务模块部署在不同的服务器上，问题出现时， 大部分情况需要根据问题暴露的关键信息，定位到具体的服务器和服务模块，构建一套集中式日志系统， 可以提高定位问题的效率。

1.1.4 完整日志系统基本特征

收集∶能够采集多种来源的日志数据
传输∶能够稳定的把日志数据解析过滤并传输到存储系统
存储∶存储日志数据
分析∶支持 UI分析
警告∶能够提供错误报告，监控机制
四、ELK的工作原理
（1）在所有需要收集日志的服务器上部署Logstash; 或者先将日志进行集中化管理在日志服务器上， 在日志服务器上部署 Logs tash。
（2）Logstash 收集日志，将日志格式化并输出到 Elasticsearch 群集中。
（3）Elasticsearch 对格式化后的数据进行索引和存储。
（4）Kibana 从 ES 群集中查询数据生成图表，并进行前端数据的展示。

1.2 安装 Elasticsearch

1.2.1 下载及安装

实验环境Centos 7-1804

服务器类型	ip地址	需要安装的组件	硬件方面
Node1节点	192.168.20.15	Elasticsearch 、 Kibana	2核4G
Node2节点	192.168.20.25	Elasticsearch	2核4G
k8s-master节点	192.168.20.1	Logstash、kuberneteus	2核4G

安装java

yum -y install java
java -version 	#查看java版本
	openjdk version "1.8.0_131"
	OpenJDK Runtime Environment (build 1.8.0_131-b12)
	OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode)

下载安装包（5.5.0版本rpm版本）

https://www.elastic.co/cn/downloads/past-releases

下载得安装包上传到服务器并安装

rpm -ivh elasticsearch-5.5.0.rpm

安装完成后按要求执行命令

systemctl daemon-reload

systemctl enable elasticsearch.service

1.2.2 修改配置文件

修改配置文件（默认位置 /etc/elasticsearch/elasticsearch.yml）

cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.org #备份
vi /etc/elasticsearch/elasticsearch.yml
#--17--取消注释，设置集群名称
cluster.name: my-application
#--23--取消注释，设置node名称
node.name: host1
#--24--添加一行设置是否为master(两台节点都设置为true一台主master，一台备master，先启动为主)
node.master: true
#--34--取消注释，设置数据存储路径
path.data: /data/elasticsearch/
#--38--取消注释，设置日志路径
path.logs: /var/log/elasticsearch
#--44--取消注释，改为在启动的时候不锁定内存
bootstrap.memory_lock: false
#--56--取消注释，设置监听地址（这里设置0.0.0.0代表全部监听）
network.host: 0.0.0.0
#--60--取消注释，设置http监听端口
http.port: 9200
#--69--取消注释，集群发现通过单播实现，指定要发现的节点IP端口(elasticsearch服务端口默认9300)
discovery.zen.ping.unicast.hosts: ["192.168.20.15:9300", "192.168.20.25:9300"]
#--73--取消注释，设置集群最小得节点数，为防止脑裂现象建议设置为 2 （脑裂：多个master互抢资源，导致数据缺失，服务崩溃）
discovery.zen.minimum_master_nodes: 2

1.2.3 修改系统参数

修改最大线程数

vi /etc/security/limits.conf`
* soft nofile 65536
* hard nofile 131072
* soft nproc 4096
* hard nproc 4096

修改最大虚拟内存

vi /etc/sysctl.conf
vm.max_map_count=262144 #添加
sysctl -p #立即生效

修改完成后启动elasticsearch

systemctl start elasticsearch.service

查看状态及日志是否有报错信息

systemctl status elasticsearch.service

tail -f /var/log/elasticsearch/(集群名称).log

查看集群健康状态

http://192.168.20.15:9200/_cluster/health?pretty

status: green集群状态健康

查看集群详细信息

http://192.168.20.15:9200/_cluster/state?pretty

1.3 安装Elasticsearch-head插件

1.3.1 前言

Elasticsearch 在 5.0 版本后，Elasticsearch-head 插件需要作为独立服务进行安装，需要使用npm工具（NodeJS的包管理工具）安装。
安装 Elasticsearch-head 需要提前安装好依赖软件 node 和 phantomjs。
node：是一个基于 Chrome V8 引擎的 JavaScript 运行环境。
phantomjs：是一个基于 webkit 的JavaScriptAPI，可以理解为一个隐形的浏览器，任何基于 webkit 浏览器做的事情，它都可以做到。

1.3.2 安装Node-v8

下载地址：Index of /download/release/v8.2.1/ (nodejs.org)

软件包名：node-v8.2.1.tar.gz

上传并解压node-v8

tar zxvf node-v8.2.1.tar.gz

安装编译软件,并编译安装

yum -y install gcc gcc-c++ make
cd /app/node-v8.2.1
./configure
make && make install #时间较长耐心等待

1.3.3 安装Phantomjs

下载地址：Download PhantomJS

软件包名：phantomjs-2.1.1-linux-x86_64.tar.bz2

安装解压软件，上传并解压压缩包

yum -y install bzip2
bzip2 -d phantomjs-2.1.1-linux-x86_64.tar.bz2
tar -xvf phantomjs-2.1.1-linux-x86_64.tar -C /usr/local/src

创建快捷方式

ln -s /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin/phantomjs /usr/local/bin/

1.3.4 安装Elasticsearch-head插件

下载地址: GitHub - mobz/elasticsearch-head: A web front end for an elastic search cluster

下载并上传软件

安装解压插件

yum -y install unzip

解压并安装elasticsearch-head

unzip elasticsearch-head-master.zip -d /usr/local/src/
cd /usr/local/src/elasticsearch-head-master
npm install

1.3.5 修改elasticsearch主配置文件并重启elasticsearch

修改elasticsearch.yml

vi /etc/elasticsearch/elasticsearch.yml
#末行添加
http.cors.enabled: ture 		#开启跨域访问支持，默认为 false
http.cors.allow-origin: "*"  	#指定跨域访问允许的域名地址为所有

重启elasticsearch

systemctl restart elasticsearch.service

查看端口信息

netstat -natp |grep 9100 #elasticsearch-head默认9100端口

1.3.6 查看集群状态并测试

通过 Elasticsearch-head 查看 Elasticsearch 信息 通过浏览器访问 http://192.168.20.15:9100地址并连接群集。

左上角输入连接集群，http://192.168.20.15:9200点击（连接）如果看到群集健康值为 green 绿色，代表群集很健康。

集群测试

通过命令插入一个测试索引，索引为 index-demo，类型为 test

curl -X PUT '192.168.20.15:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'

返回Elasticsearch-head点击刷新查看数据，数据分布在两个节点上集群正常。

1.4 安装Logstash

下载地址：Logstash 5.5.1 | Elastic

软件包名：logstash-5.5.1.rpm

安装java

yum -y install java

上传Logstash软件包并安装

rpm -ivh logstash-5.5.1.rpm

启动Logstash并设置开机自启

systemctl start logstash.service
systemctl enable logstash.service

设置Logstash快捷命令

ln -s /usr/share/logstash/bin/logstash /usr/local/bin

1.4.1 编写Logstash配置文件

编写Logstash配置文件

vi /etc/logstash/conf.d/kubelet.conf
input {
    
    
    file{
    
    
        path => "/var/log/messages"
        type => "kubelet"
        start_position => "beginning"
    }
}
output {
    
    
    if [type] == "kubelet" {
    
    
        elasticsearch {
    
    
            hosts => ["192.168.20.15:9200"]
            index => "kubelet-%{+YYYY.MM.dd}"
        }
    }
}

配置日志文件权限

chmod +r /var/log/messages

载入配置文件

/usr/share/logstash/bin/logstash -f kubelet.conf 2>&1 &

登录网页 http://192.168.20.15:9200查看是否有相关索引“kubelet-*”

1.5 安装Kibana

下载地址：Kibana 5.5.1 | Elastic

软件包名：kibana-5.5.1-x86_64.rpm

上传并安装Kibana

rpm -ivh kibana-5.5.1-x86_64.rpm

1.5.1 配置Kibana

设置 Kibana 的主配置文件

vim /etc/kibana/kibana.yml
#--2--取消注释，Kiabana 服务的默认监听端口为5601
server.port: 5601
#--7--取消注释，设置 Kiabana 的监听地址，0.0.0.0代表所有地址
server.host: "0.0.0.0"
#--21--取消注释，设置和 Elasticsearch 建立连接的地址和端口
elasticsearch.url: "http://192.168.20.15:9200" 
#--30--取消注释，设置在 elasticsearch 中添加.kibana索引
kibana.index: ".kibana"

启动kibana服务

systemctl start kibana.service
systemctl enable kibana.service

查看端口

netstat -natp | grep 5601

1.5.2 验证Kibana

浏览器访问 http://192.168.20.1:5601
第一次登录需要添加一个 Elasticsearch 索引：
Index name or pattern
//输入：kubelet-* #在索引名中输入之前配置的 Output 前缀“kubelet”

单击 “create” 按钮创建，单击 “Discover” 按钮可查看图表信息及日志信息。
数据展示可以分类显示，在“Available Fields”中的“host”，然后单击 “add”按钮，可以看到按照“host”筛选后的结果

1.6 Filebeat+ELK集群

下载地址：Filebeat 6.2.4 | Elastic

软件包名：filebeat-6.2.4-linux-x86_64.tar.gz

上传并安装Filebeat

tar -zxvf filebeat-6.2.4-linux-x86_64.tar.gz

mv filebeat-6.2.4-linux-x86_64/ /usr/local/filebeat

创建命令快捷方式

ln -s /usr/local/filebeat/filebeat /usr/local/bin

1.6.1 配置Filebeat主配置文件

vim /usr/local/filebeat/filebeat.yml
filebeat.prospectors:
- type: log         #指定 log 类型，从日志文件中读取消息
  enabled: true
  paths:
    - /var/log/messages       #指定监控的日志文件
    - /var/log/*.log

#--------------Elasticsearch output-------------------
(全部注释掉)

#----------------Logstash output---------------------
output.logstash:
  hosts: ["192.168.20.1:5044"]      #指定 logstash 的 IP 和端口

启动Filebeat

filebeat -e -c /usr/local/filebeat/filebeat.yml >> /var/log/filebeat.log 2>&1 &

1.6.2 配置Logstash配置文件

在 Logstash 组件所在节点上新建一个 Logstash 配置文件

vim logstash.conf
input {
    
    
    beats {
    
    
        port => "5044"
    }
}
output {
    
    
    elasticsearch {
    
    
        hosts => ["192.168.20.15:9200"]
        index => "filebeat-%{+YYYY.MM.dd}"
    }
    stdout {
    
    
        codec => rubydebug
    }
}

启动 logstash

logstash -f /etc/logstash/conf.d/logstash.conf 2>&1 &

浏览器访问http://192.168.20.15:9200查看Elasticsearch是否有filebeat索引

浏览器访问 http://192.168.20.1:5601 登录 Kibana，单击“Create Index Pattern”按钮添加索引“filebeat-*”，单击 “create” 按钮创建，单击 “Discover” 按钮可查看图表信息及日志信息。

    hosts => ["192.168.20.15:9200"]
    index => "filebeat-%{+YYYY.MM.dd}"
}
stdout {
    codec => rubydebug
}

}

启动 logstash 

`logstash -f /etc/logstash/conf.d/logstash.conf 2>&1 &`

浏览器访问http://192.168.20.15:9200查看Elasticsearch是否有filebeat索引

浏览器访问 http://192.168.20.1:5601 登录 Kibana，单击“Create Index Pattern”按钮添加索引“filebeat-*”，单击 “create” 按钮创建，单击 “Discover” 按钮可查看图表信息及日志信息。