spark读取数据返回DataFrame时,默认开启了数据类型自动转换,比如字符串20180101会被转换成整型,官网说明如下
如果需要关闭这种转换,创建spark时通过config关闭,如:
val spark = SparkSession.builder()
.appName("xxx")
.master("local[2]")
.config("spark.sql.sources.partitionColumnTypeInference.enabled",false)
.getOrCreate()