版权声明:文件随便转载,欢迎大家一起讨论技术,写的不对的地方还请大家一起讨论 https://blog.csdn.net/u012443641/article/details/82712331
1. 问题发现
最近我在使用Flume中spooldir类型的source监视linux本地目录处理文件时发现,Flume在监视到Windows文件(也就是换行符为\r\n)时,我的自定义拦截器处理读取到的每一行数据时,会发生一些想不到的结果,比如输出的字符串为乱码、输出的字符串和原始文件中的字符串不一致等。后来我查看了一下其源码,发现flume默认使用的串并转化器LINE
是以 \n 为行结束符的
因此spooldir在读取到Windows文件时,会将 \r 符号读取到event body中,有时会对我们后续的解析造成一定的影响。
2. 解决方案
在自定义拦截器中处理event body时,先将event body读取出来,然后检测是否包含 \r 符号,如果包含该符号,则将其删除,然后重新设置到event body中。方法代码如下:
import org.apache.flume.Event;
/**
* event事件处理工具类
*
* @author wzq
*/
public class EventUtils {
/**
* 去掉event body中的 \r 字符,并将处理之后的body重新设置到Event对象中,Event对象参数的内容就会发生改变
*
* @param event Event对象
* @return 处理之后的event body字符串
**/
public static String lineBreak(Event event) {
String line = new String(event.getBody());
if (line.contains("\r")) {
line = line.substring(0, line.length()-1);
}
event.setBody(line.getBytes());
return line;
}
}
之后在自定义拦截器中获取event body时,就可以直接调用该方法来获取,避免了 \r 符号对实际的结果在成的影响。
String body = EventUtils.lineBreak(event);
);