【ES三周年】| 基于国产化操作系统搭建ELK日志分析平台

引入

鲲鹏认证-Kylin麒麟操作系统-ELK日志分析平台

请在此添加图片描述

开篇

何为ELK Stack?它又能够给我们带来什么?

综述

ELK为三个开源项目的首字母缩写,分别对应是:Elasticsearch、Logstash、Kibana,由这三个软件及其相关的组件可以打造大规模日志实时处理系统。

请在此添加图片描述

实战

go…

请在此添加图片描述

硬件

请在此添加图片描述

操作系统

请在此添加图片描述

配置编译环境

首先,将jdk安装包传输到ARM服务器/usr/local/java 目录下

请在此添加图片描述

在文件末尾加入

请在此添加图片描述

使用命令更新配置的文件

source /etc/profile

测试安装配置成功

请在此添加图片描述

安装elasticsearch

获取安装文件到 /usr/local/

请在此添加图片描述

创建用户及用户组

请在此添加图片描述

验证elasticsearch是否配置正确

在浏览器访问:http://ip:9200/

或在终端输入命令:

curl ip:9200

监控elasticsearch集群状态:http://ip:9200/_cluster/health?pretty=true

若status为green,表示在正常运行,若status为yellow,表示副本分片丢失,若status为red,表示主分片丢失。

常见问题FAQ

请在此添加图片描述

请在此添加图片描述

安装logstash

获取安装文件

请在此添加图片描述

cd ../
rm -rf jruby-complete-9.2.11.1

运行测试

请在此添加图片描述

新建配置文件,读取指定日志文件,发送到elasticsearch

vim /etc/logs/system-log.conf
input {
    file {
        path => "/var/log/messages"           
        type => "systemlog"
        start_position => "beginning"  
        stat_interval => "2"   
    }
}
output {
    elasticsearch {
        hosts => ["ip:9200"]            
        index => "logstash-%{type}-%{+YYYY.MM.dd}"
    }
}

指定文件启动logstash

./logstash-7.8.0/bin/logstash -f /etc/logs/system-log.conf

安装kibana

获取安装文件

cd /usr/local
tar -zxvf kibana-7.8.0-linux-x86_64.tar.gz    #解压

请在此添加图片描述

server.host: "ip"    #监听地址
server.port: 5601    #监听端口
elasticsearch.hosts: ["http://ip:9200"]    #elasticsearch服务器地址 i18n.locale: "zh-CN"    #修改为中文

请在此添加图片描述

请在此添加图片描述

日志收集

通过logstash收集系统message日志

在 /usr/local/logstash-7.8.0/config 下创建随意名称的 logstash 配置文件 example.conf

需要注意的问题是:通过logstash收集别的日志文件,前提需要logstash用户对被收集的日志文件有读的权限并对要写入的文件有写的权限…

请在此添加图片描述

日志检索

通过kibana控制台检索收集到的日志信息

image.png

猜你喜欢

转载自blog.csdn.net/yxd179/article/details/131442160