spark 调优:分区字段数据类型调整

spark读取数据返回DataFrame时,默认开启了数据类型自动转换,比如字符串20180101会被转换成整型,官网说明如下


如果需要关闭这种转换,创建spark时通过config关闭,如:

val spark = SparkSession.builder()

.appName("xxx")

.master("local[2]")

.config("spark.sql.sources.partitionColumnTypeInference.enabled",false)

.getOrCreate()



猜你喜欢

转载自blog.csdn.net/chengliangyao/article/details/80619115
今日推荐