搭建目的：
用ELK stack来做日志收集分析，Kibana强大而方便，跟踪分析统计样样俱全，然而，但是，却有一个问题。ELK自能通过手动查询日志，而不能发出邮件通知。而ElastAlert可以实现此功能。elastalert依照一定频率查询es，将查询结果对比告警阈值，超过阈值即进行告警。告警方式包括但不局限于邮箱、jira等。虽然官方没有提供微信等告警方式，但是也有第三方版本可以使用。
大致架构：
使用elastalert的步骤简单分为以下几步：
1. 安装elastalert
2. 配置config.yaml
3. 建立elastalert的索引
4. 配置规则yaml
5. 测试你的规则
6. 运行elastalert
安装elastalert
Elastalert是通过python实现的，所以需要python的环境。官方提供的python版本是2.7.6，但经过测试目前2.7.6的版本根本不适合了，需要Python 3.6.9，同时需要安装pip 20.0.2。
安装依赖包：
yum -y install wget openssl openssl-devel gcc gcc-c++
下载包：
wget https://www.python.org/ftp/python/3.6.9/Python-3.6.9.tgz安装：
tar xf Python-3.6.9.tgzcd Python-3.6.9./configure --prefix=/usr/local/python --with-opensslmake && make install配置
mv /usr/bin/python /usr/bin/python_oldln -s /usr/local/python/bin/python3 /usr/bin/pythonln -s /usr/local/python/bin/pip3 /usr/bin/pippip install --upgrade pip注意所有依赖python2的脚本,都需要更改为python2.7,因为现在默认的python为3.6,例如
sed -i '1s/python/python2.7/g' /usr/bin/yumsed -i '1s/python/python2.7/g' /usr/libexec/urlgrabber-ext-down验证
$ python -V Python 3.6.9$ pip -V pip 19.3 from /usr/local/python/lib/python3.6/site-packages/pip (python 3.6)3、安装elastalert
下载包
git clone https://github.com/Yelp/elastalert.gitcd elastalertpip install "elasticsearch<7,>6" #因为我们的es是7.2.0，所以这里选用的版本是这个
pip install -r requirements.txtpython setup.py install 安装成功后可以看到四个命令
ll /usr/local/python/bin/elastalert* /usr/local/python/bin/elastalert /usr/local/python/bin/elastalert-create-index /usr/local/python/bin/elastalert-rule-from-kibana /usr/local/python/bin/elastalert-test-ruleln -s /usr/local/python/bin/elastalert* /usr/bin- elastalert-create-index会创建一个索引，ElastAlert会把执行记录存放到这个索引中，默认情况下，索引名叫elastalert_statuselastalert-rule-from-kibana从Kibana3已保存的仪表盘中读取Filtering设置，帮助生成config.yaml里的配置。不过注意，它只会读取filtering，不包括queries。
- elastalert-test-rule测试自定义配置中的rule设置。
二、使用
官方文档：https://elastalert.readthedocs.io
规则文档：https://elastalert.readthedocs.io/en/latest/ruletypes.html
1、主配置文件
一．首先是主配置文件的模板为config.yaml.example,生成全局配置
复制一份修改名字为config.yaml
大体配置如下：
#存放elastalert 规则的文件夹，你的elastalert 放到哪里就放到哪里就行了
rules_folder: example_rules
#Elastalert 多久去查询一下根据定义的规则去elasticsearch 查询是否有符合规则的字段，如果有就会触发报警，如果没有就等待下一次时间再检查，时间定义的单位从周到秒都可以，具体定义方法如下。
run_every:
minutes: 1
#hours：1
#days：1
#weeks：1
#当查询开始一直到结束，最大的缓存时间
buffer_time:
minutes: 15
es_host: 10.253.96.81
es_port: 9200
#这个是elastalert 在es里边写的index
writeback_index: elastalert_status
writeback_alias: elastalert_alerts
#如果alert当时没有发出去重试多久之后放弃发送；
alert_time_limit:
days: 2
2、创建告警索引
执行elastalert-create-index命令在ES创建索引，这不是必须的步骤。因为我们其他系统对接的时候 已经创建了需要的索引。不过可以验证是否正确：
执行 elastalert-create-index 一定要加引号，除了端口号不加，否则会报错。
如果执行成功，结果如下：
Elastic Version: 7.2.0
Reading Elastic 6 index mappings:
Reading index mapping 'es_mappings/6/silence.json'
Reading index mapping 'es_mappings/6/elastalert_status.json'
Reading index mapping 'es_mappings/6/elastalert.json'
Reading index mapping 'es_mappings/6/past_elastalert.json'
Reading index mapping 'es_mappings/6/elastalert_error.json'
New index elastalert_status created
Done!
也可以请求一下看看：
curl 10.253.96.81:9200/_cat/indices?v
3、Rule配置
所有的告警规则，通过在rule目下创建配置文件进行定义，这里简单创建一个来作为演示。
首先我的elk集群中又action服务的索引，其索引名称也是action。然后如果想查询该服务日志中是否又error字段出现，则配置如下：
# Alert when the rate of events exceeds a threshold
cp example_frequency.yaml my_rule.yaml
es_host: 10.253.96.81
es_port: 9200
#rule name 必须是独一的，不然会报错，这个定义完成之后，会成为报警邮件的标题
name: es_rule
type: frequency #选择某一种数据验证方式,支持很多种数据验证方式
#这个index 是指再kibana 里边的index，支持正则匹配，支持多个index，同时如果嫌麻烦直接* 也可以。
#index: es-nginx*,winlogbeat*
index: action
#时间出发的次数
num_events: 2
#和上边的参数关联，也就是说在4分钟内出发5次会报警
timeframe:
#hours: 4
minutes: 1
filter:
- query:
query_string:
query: "message: ERROR"
alert:
- "email"
#在邮件正文会显示你定义的alert_text
alert_text: "you have a error message" #主题的名称
#报警邮箱的smtp server
smtp_host: "smtp.163.com"
#报警邮箱的smtp 端口
smtp_port: 25
#需要把认证信息写到额外配置文件里，需要user和password两个属性
smtp_auth_file: /usr/local/elastalert/example_rules/smtp_auth_file.yaml
email_reply_to: "150313xxxxx@163.com"
from_addr: "150313xxxxx@163.com"
email:
- "xxxxxxx@163.com"
smtp_auth_file字段是需要额外建立一个文件，作为发邮件的用户名 和密码的文件。
接下来需要配置smtp认证文件了，touch 一个配置文件，路径一定要和上边配置的对应好。
vi smtp_auth_file.yaml
#文件配置内容如下：
user: "test"
password: "test@12345"
elastalert默认支持的规则有以下几种：
any：只要有匹配就报警；
blacklist：compare_key字段的内容匹配上 blacklist数组里任意内容；
whitelist：compare_key字段的内容一个都没能匹配上whitelist数组里内容；
change：在相同query_key条件下，compare_key字段的内容，在 timeframe范围内 发送变化；
frequency：在相同 query_key条件下，timeframe 范围内有num_events个被过滤出 来的异常；我的实验就是参考了这个规则配置的
spike：在相同query_key条件下，前后两个timeframe范围内数据量相差比例超过spike_height。其中可以通过spike_type设置具体涨跌方向是- up,down,both 。还可以通过threshold_ref设置要求上一个周期数据量的下限，threshold_cur设置要求当前周期数据量的下限，如果数据量不到下限，也不触发；
flatline：timeframe 范围内，数据量小于threshold 阈值；
new_term：fields字段新出现之前terms_window_size(默认30天)范围内最多的terms_size (默认50)个结果以外的数据；
cardinality：在相同 query_key条件下，timeframe范围内cardinality_field的值超过 max_cardinality 或者低于min_cardinality
关于这些不同的规则，官方有一些模板案例可以参考，路径在example_rules下面
配置好rule文件之后，也可以先语法检查一下：
elastalert-test-rule example_rules/example_frequency.yaml
如果要指定要使用的配置文件，则可以使用config标志运行它：
elastalert-test-rule --config <path-to-config-file> example_rules/example_frequency.yaml
如果没有报错，则说明可用。
启动
在elastalert下启动：
nohup python -m elastalert.elastalert --verbose --config config.yaml --rule example_rules/my_rule.yaml &
通过查询nohup.out的日志能够很清晰看到整个过程
造一些error状态的日志，过一会儿应该可以看到日志中的说明，有告警发出，邮箱应该也能收到了。
推荐增加的配置：
1、报警频率
#限定时间内，发生事件次数
num_events: 3
#与上面参数结合使用，表示在2分钟内发生3次就报警
timeframe:
minutes: 2
2、避免重复告警
避免一定时间段中重复告警，可以配置realert和exponential_realert这两个选项：
# 5分钟内相同的报警不会重复发送
realert:
minutes: 5
# 指数级扩大 realert 时间，中间如果有报警，
# 则按照5->10->20->40->60不断增大报警时间到制定的最大时间，
# 如果之后报警减少，则会慢慢恢复原始realert时间
exponential_realert:
hours: 1
3、聚合相同告警
# 根据报警的内容将相同的报警按照 name 来聚合
aggregation_key: name
# 聚合报警的内容，只展示 name 与 message
summary_table_fields:
- name
- message
4、告警内容格式化
可以自定义告警内容，内部是使用Python的format来实现的。
alert_subject: "Error {1} @{2}"
alert_subject_args:
- name
- "@timestamp"
alert_text_type: alert_text_only
alert_text: |
> Name: {1}
> Message: {2}
> Host: {3} ({4})
alert_text_args:
- name
- message
- hostname
- host
更多规则可以查看官网