spark想不进行文件切分，文件是多大就起几个task，参数设置
–conf spark.sql.files.maxPartitionBytes=2147483648 --conf spark.sql.files.openCostInBytes=2147483648
写出的文件使用zstd压缩，spark3才开始支持
–conf spark.sql.parquet.compression.codec=zstd
spark3使用zstd压缩
猜你喜欢
转载自blog.csdn.net/weixin_43015677/article/details/131686983
今日推荐
周排行