1 小文件优化
影响因素:并行度、回滚时间、文件大小、checkpoint、compaction
1 compaction文件生成规则
1 flink-sql写parquet文件到
规则总结:
1)checkpoint时, 生成compact文件(立即可读), 下个checkpoint时删除uncompact(不可读)文件;
2) 只能合并单个checkpoint内的文件,不同checkpoint生成的文件是不会合并的;
3) 分区结束两个checkpoint后文件可用
参考链接: