Filebeat是彩38完整修复版H5自适应手机版一个日志文件托运工具

ElasticSearch是一个基于Lucene的搜索服务器。彩38完整修复版H5自适应手机版联系方式:QQ:2747044651【征途源码论坛http://t.cn/Eyb4XkK】它提供了一个分布式多用户能力的全文搜索引擎,基于RESTFul web接口。ElasticSearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。ElasticSearch常用于全文检索,结构化检索,数据分析等。

下面,我们以ElasticSearch接管Linux日志(/var/log/xxx.log)为例,详细介绍如何进行配置与部署。

img总体架构图

一,准备工作
1,CVM及ElasticSearch
在腾讯云帐号下,申请一台CVM(Linux操作系统)、一个ElasticSearch集群(后面简称ES),使用最简配置即可;申请的CVM和ES,必须在同一个VPC的同一个子网下。

imgCVM详情信息

imgElasticSearch详情信息

2,Filebeat工具
为了将Linux日志提取到ES中,我们需要使用Filebeat工具。Filebeat是一个日志文件托运工具,在你的服务器上安装客户端后,Filebeat会监控日志目录或者指定的日志文件,追踪读取这些文件(追踪文件的变化,不停的读),并且转发这些信息到ElasticSearch或者logstarsh中存放。当你开启Filebeat程序的时候,它会启动一个或多个探测器(prospectors)去检测你指定的日志目录或文件,对于探测器找出的每一个日志文件,Filebeat启动收割进程(harvester),每一个收割进程读取一个日志文件的新内容,并发送这些新的日志数据到处理程序(spooler),处理程序会集合这些事件,最后Filebeat会发送集合的数据到你指定的地点。

官网简介:https://www.elastic.co/products/beats/filebeat

二,操作步骤
1,Filebeat下载与安装
首先,登录待接管日志的CVM,在CVM上下载Filebeat工具:

[root@VM_3_7_centos ~]# cd /opt/

猜你喜欢

转载自blog.csdn.net/weixin_44108101/article/details/85011631