flume(kafka-mongodb) 留坑

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/snake1900/article/details/70544167

flume(kafka-mongodb) 踩过的坑

• Kafka 不消费
• Mongodb 不写入

---

kafka不消费

排查发现，kafka 中堆积了大量的日志消息，不进行消费。
原因：sink 写入不是json格式的消息时 ，mongodb 拒绝处理
直到堆满通道处理能力
解决办法：增加拦截器 regex_filter ,

agent.sources.source1.interceptors=i1 
agent.sources.source1.interceptors.i1.type=regex_filter  
agent.sources.source1.interceptors.i1.regex=\\{.*\\}  

拦截器是 regex_filter 不要写成提取器 regex_extractor （小坑，已踩）

Mongodb 不写入

model 配置使用 agent.sinks.s1.model = single

agent.sinks.s1.type = org.riderzen.flume.sink.MongoSink
agent.sinks.s1.host = localhost
agent.sinks.s1.port = 27017
agent.sinks.s1.model = single
agent.sinks.s1.db = test
agent.sinks.s1.collection = log
agent.sinks.s1.batch = 100
agent.sinks.s1.channel = c1