spark sql 支持多级目录

当表的分区有子目录时,spark sql默认是不支持的,可以用以下设置:

在hive cli里直接set mapreduce.input.fileinputformat.input.dir.recursive=true;就可以正常使用spark sql引擎
在代码层面可以尝试
.set("spark.hive.mapred.supports.subdirectories","true")
.set("spark.hadoop.mapreduce.input.fileinputformat.input.dir.recursive","true")

猜你喜欢

转载自blog.csdn.net/zhouyan8603/article/details/83413950