ELK部署文档

一：简单介绍：

ELK是三个开源工具组成，Elasticsearch、Logstash、Kibana ，这三者的关系按照下图所示

Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。

Logstash是一个完全开源的工具，它可以对你的日志进行收集、过滤，并将其存储供以后使用（如，搜索）。

Kibana 也是一个开源和免费的工具，它可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。

二：环境准备

centos7
jdk8
elasticsearch-5.6.7.tar.gz
kibana-5.6.8-linux-x86_64.tar.gz
logstash-6.3.2.tar.gz

三：安装elasticsearch

3.1创建elasticsearch用户。不能使用root用户，这里有坑需注意。

3.2切换elasticsearch用户

3.3输入命令 tar -zxvf elasticsearch-5.6.7.tar.gz解压

3.4 cd elasticsearch-5.6.7/config/ 进入config文件夹

3.5 vim elasticsearch.yml 修改

cluster.name: elk

node.name: node-1

network.host: 10.104.227.15

http.port: 9200

transport.tcp.port: 9300

discovery.zen.ping.unicast.hosts: ["111.230.131.178:9300"]

node.master: true

node.data: true

http.cors.enabled: true

http.cors.allow-origin: "*"

这里设置了三个实例。集群化部署

复制两个实例修改 vim elasticsearch.yml

一个修改成：

cluster.name: elk

node.name: node-2

http.port: 9201

transport.tcp.port: 9301

node.master: false

node.data: true

discovery.zen.ping.unicast.hosts: ["111.230.131.178"]

http.cors.enabled: true

http.cors.allow-origin: "*"

另一个修改成：

cluster.name: elk

node.name: node-3

network.host: 10.104.227.15

http.port: 9202

transport.tcp.port: 9302

discovery.zen.ping.unicast.hosts: ["111.230.131.178"]

node.master: false

node.data: false

3.6 vim jvm.options 修改

-Xms256m

-Xmx256m

3.7: 进入bin文件夹 nohup sh elasticsearch & 后台启动

3.8 :cat nohup.out 查看启动日志启动报错

3.9 切换root用户

3.9.1 vim /etc/sysctl.conf 修改 vm.max_map_count=655360

3.9.2 sysctl -p

3.9.3 vim /etc/security/limits.conf 修改

* soft nofile 655360

* hard nofile 655360

3.9.4 退出重新登陆

3.10 进入bin文件夹 nohup sh elasticsearch & 后台启动

3.11 jps查看启动成功

3.12:修改阿里云安全组

3.13: 浏览器输入http://112.124.116.67:9200/

四：安装 logstash-6.3.2

4.1：输入tar -zxvf logstash-6.3.2.tar.gz 解压

4.2：进入bin文件夹输入vim logstash.conf

input {

  log4j {

    mode => "server"

    host => "10.47.135.225"

    port => 4567

  }

}

filter {

  #Only matched data are send to output.

}

output {

  elasticsearch {

    action => "index"

    hosts  => "10.47.135.225:9200"

    index  => "applog"

  }

}

4.3：进入bin目录下启动 ./logstash -f ../bin/logstash.conf

conf的地址就是自己新建的地址

五：安装kibana-5.6.8

5.1：输入tar -zxvf kibana-5.6.8-linux-x86_64.tar.gz解压

5.2：进入config vim kibana.yml 修改:

server.port: 5601

elasticsearch.url: "http://10.47.135.225:9200"

5.3：./bin/kibana 启动