spark不同版本读取csv文件出现的编码问题

昨天在跑的时候发现一个问题,因为在本地的spark版本号为spark 2.4, 集群上的为spark 2.1,代码在spark2.4跑挺好,在spark2.1跑不起来。

用sparkSession读完csv文件,对列进行过滤,在spark2.4,可见"is_claim"已经被过滤掉。
spark2.4 运行

然鹅,在spark2.1中,此列并无法过滤,赫然在列!
spark2.1运行

究其原因,碰巧无奈在一次打印feature_cols的时候,发现此列较其他列多了一位空格,并不是真的空格,是BOM字节流标记----- \uFEFF。

这并不是ide设置或者是excel编译转译出问题,是spark读取csv的时候出问题。

解决方案1,
解决方案1

发布了10 篇原创文章 · 获赞 0 · 访问量 3885

猜你喜欢

转载自blog.csdn.net/coolljp21/article/details/86737344