flume向hdfs中写入大文件(日志)

问题:

  • flume监控的目录写入大文件的时候不能同步记录在hdfs中
  • flume监控的目录写入大文件的时候,同步记录到hdfs中后变成多个小文件
    解决办法:更改flume的配置信息(主要更改滚动方式),滚动的意思是当flume监控的目录达到了配置信息中的某一条滚动方式的时候,会触发flume提交一个文件到hdfs中(即在hdfs中生成一个文件)

flume有三种滚动方式。

1.按照时间
2.按照大小
3.按照count.
如果时间不合适。可以按照大小来滚动,比如70M
rollsize=70M ,当然这里记得换算单位

注意sink.type,如果是memory模式,注意文件的大小,防止内存不足,太大可以设置sink.type = file

猜你喜欢

转载自blog.csdn.net/yhblog/article/details/84972662