【大数据】ELK 需要注意的问题

1.不能用windows自带编辑器打开任何配置文件，建议用Sublime。
2.X-pack邮件报警不能用564端口，es不支持，建议用25或587端口。
3.安装所有应用是时，用到的压缩包应该是未经过解压安装的。
4.要在非root下启动es
5.es/nodes/0 node.lock和 _state 文件记录es集群当前状态，要替换es节点时应删除
6.删除.security-6这个index，即可重置index密码
7.停掉kafka应该用./bin/kafka-server-stop.sh，不能用kafka不能用kill -9，kill -9 暴力停止会可能导致数据丢失
8.kibana搜索时出现5 of 30 shards failed，mapping conflict，可以考虑重建index pattern，但是日志上面配了 visualize 的话，会导致这些图表不可用
9.grok中不能出现多个相同的字段名
10.logstash优化
    # pipeline线程数，官方建议是等于CPU内核数
    pipeline.workers: 24
    # 实际output时的线程数
    pipeline.output.workers: 24
    # 每次发送的事件数
    pipeline.batch.size: 3000
    # 发送延时
    pipeline.batch.delay: 5
11.一个logstash上不能同时存在多个Kafka消费实例，即相同的topic，哪怕不同的groupid也不行
12.在kibana上发现掉数据排查思路（数据没有跟上实时）
    1.排查logstash是否工作正常：logstash挂了？数据解析失败？
    2.排查kafka是否工作正常
    3.排查filebeat是否工作正常
13.启动logstash时报大量的'time'未定义，可以先排查data插件中match时间戳格式有没有写对，然后排查grok有没有写对，看看有没有解析失败的日志，再看看配置文件语法有没有写对。

了解本专栏 订阅专栏 解锁全文