Linux下日志分析ELK环境搭建手册

引言

我们都知道当我们系统上线以后,一旦出现什么什么问题,系统日志是我们重要的参考依据,当我们系统数据量非常大的时候,通过我们的日志还可以分析出非常多的有价值的信息,可以为公司的发展方向起到指导性作用,但是随着系统的日益庞大,互联网技术的不断发展,现在的日志都分布在很多台服务器上面,这对于日志的收集和分析是个非常大的挑战,显然如果通过传统的方式会死人的,而ELK架构专为收集、分析和存储日志所设计。

ELK作为一个日志收集和检索系统,感觉功能还是相当的强大的。 ELK是啥, 其实是是三个组件的缩写, 分别是elasticsearch, logstash, kibana. ELK平台可以用于实现日志收集、日志搜索和日志分析。

Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。

Logstash是一个完全开源的工具,他可以对你的日志进行收集、过滤,并将其存储供以后使用(如,搜索)。

Kibana 也是一个开源和免费的工具,它Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的Web 界面,可以帮助您汇总、分析和搜索重要数据日志。

下面给大家介绍一下ELK环境的安装:

1、jdk安装

首先检查是否已经安装jdk,如果已经安装有jdk并且版本和上面版本不一样的话,需要先卸载jdk,然后安装

提供版本的jdk。

1、卸载命令:yum  groupremove  java。

2、将jdk压缩包(jdk-8u45-linux-x64.tar.gz)复制到/opt 目录下

3、在opt路径下面执行命令:Tar zxf jdk-8u45-linux-x64.tar.gz

4、进入/etc目录,修改profile文件 在最后添加下面代码

#JDK1.8
export JAVA_HOME=/opt/jdk1.8.0_45
export JAVA_BIN=/opt/jdk1.8.0_45/bin
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME JAVA_BIN PATH CLASSPATH

5、重启系统:reboot

2、elasticsearch安装

1、将elasticsearch-1.7.2.tar.gz 复制到/opt下面

2、解压该安装包

在opt路径下面执行命令:tar zxf elasticsearch-1.7.2.tar.gz

3、启动elasticsearch服务

进入安装的bin目录下:cd  opt/elasticsearch-1.7.2/bin

执行命令:./elasticsearch -d (-d确保服务可以在后台运行)

在浏览器中输入:ip+9200端口 出现下面json数据,证明安装成功

1、Head插件安装

保证你的Linux系统可以上网,然后执行下面命令完成安装

./plugin -install mobz/elasticsearch-head

在浏览器中输入:192.168.92.12:9200/_plugin/head 后出现下图效果,说明安装成功

2、bigdesk插件

保证你的Linux系统可以上网,然后执行下面命令完成安装

./plugin -install lukas-vlcek/bigdesk/2.5.0

在浏览器中输入:192.168.92.12:9200/_plugin/bigdesk后出现下图效果,说明安装成功

3、Logstash安装

1、将logstash-1.5.5.tar.gz 复制到/opt下面

2、解压该安装包

在opt路径下面执行命令:tar zxf logstash-1.5.5.tar.gz

4、kibana安装

1、将kibana-4.1.0-linux-x64.tar.gz 复制到/opt下面

2、解压该安装包

在opt路径下面执行命令:tar  zxf  kibana-4.1.0-linux-x64.tar.gz

3、启动kibana服务

进入安装的bin目录:cd /opt/kibana-4.1.0-linux-x64/bin

然后执行 ./kibana 出现下面效果,证明服务启动成功

在浏览器中输入:ip+5601端口 出现下面效果证明安装成功

小结

上面是在Linux服务器上面的一个基本的环境搭建,但是在企业中一般不会采用这个简单的架构,因为这个架构

是存在一些问题的在性能方面,所以我们为了解决这些问题会对这个架构和别的技术进行结合,从而达到大数据量的

日志收集系统。在后面的博客中小编会陆续详细的介绍里面用到的技术。

猜你喜欢

转载自www.linuxidc.com/Linux/2017-05/143777.htm