flume采集

  1. DirFileRecorder SenderRunnable 发送线程 file_send_interval_sec默认3秒
  2. SimpleFileMonitor ShellRunnable 检查脚本 default_interval_sec默认1秒
    3.is_skip_to_end 设置从0开始读
    4.private Map<Long, FileInfo> file_info_map_ = null; 核心MAP信息
    5.List records = file_parser_.GetNextBatchRecords( file_info);更新meta
  3. MultiLineParser .JAVA GetNextBatchRecords fileInfo.set_offset(offset); 更新内存中的文件采集OFFSET
    7.BUG1 file_reader.seek(fileInfo.get_offset()); 小文件采完,大文件进来,从小文件的OFFSET开始读,丢数据

猜你喜欢

转载自blog.csdn.net/xujianchao/article/details/84302729