1. 减少小的或不均匀的parquet文件
在查询时读取太多小文件或几个太大的文件会导致性能低下，可以配置参数，让cube构建时，按照一定策略对parquet文件进行重分区，以减少小的或不均匀的parquet文件
1.1 配置参数
| 参数名 | 默认值 | 说明 |
|---|---|---|
| kylin.storage.columnar.shard-size-mb | 128MB | 有shardby列的parquet文件最大大小 |
| kylin.storage.columnar.shard-rowcount | 2500000 | 没有bitmap时，每个parquet文件最多包含的行数 |
| kylin.storage.columnar.shard-countdistinct-rowcount | 1000000 | 有bitmap时，指定cuboid的bitmap大小 |
| kylin.storage.columnar.repartition-threshold-size-mb | 128MB | 每个parquet文件的最大大小 |
1.2 分区数量的计算规则
需满足下面的条件之一，才会进行重分区：
- 如果这个cuboid有shardBy的列
- parquet文件的平均大小 < 参数kylin.storage.columnar.repartition-threshold-size-mb的值 ，且parquet文件数量大于1。这种情况是为了避免小文件太多
- parquet文件的数量 < (parquet文件的总行数 / kylin.storage.columnar.shard-rowcount * 0.75)， 如 果这个cuboid有精确去重的度量值， 使用kylin.storage.columnar.shard-countdistinct-rowcount来代替。这种情况是为了避免不均匀的文件
分区数量的计算规则：
fileLengthRepartitionNum = Math.ceil(【parquet文件总大小MB】/ 【kylin.storage.columnar.shard-size-mb】)
rowCountRepartitionNum = Math.ceil(【parquet 文件总行数】/ 【kylin.storage.columnar.shard-rowcount】)
分区数量 = Math.ceil((【fileLengthRepartitionNum】+【rowCountRepartitionNum】) / 2)
2. 将多个小文件读取到同一个分区
当已经构建的segments中有很多小文件时， 可以修改参数spark.sql.files.maxPartitionBytes(默认值为128MB)为合适的值，这样可以让spark 引擎将一些小文件读取到单个分区中，从而避免太多的小任务
如果有足够的资源， 可以减少该参数的值来增加并行度， 但需要同时减少spark.hadoop.parquet.block.size(默认值为128MB)的值，因为parquet文件的最小分割单元RowGroup由该参数确定