Spark2.3.0解决Exception in thread "main" java.lang.IllegalArgumentException: Illegal pattern component

版权声明：版权声明中 https://blog.csdn.net/lds_include/article/details/89329139

Spark2.3.0解决Exception in thread “main” java.lang.IllegalArgumentException: Illegal pattern component: XXX 报错

出错的调用代码

• 此问题出现在调用spark.read.json或者csv的时候出现。

res.write
	.mode("append")
	.json("c://out")

说明

• maven升级的时候，没有自动加载完整依赖包，jsonAPI对于timeStampFormat有特殊需求，默认为下面这个格式这种格式，是无法被scala-lang包识别的。我们看报错的源码可以看出。
  
  

修改的方法

• 修改option选项修改默认的timeStampFormat，代码如下

res.write
      .option("timestampFormat", "yyyy/MM/dd HH:mm:ss ZZ")
      .mode("append")
      .json("C://out")