1 小さなファイルの最適化
影響要因:並列処理、ロールバック時間、ファイル サイズ、チェックポイント、圧縮
1 圧縮ファイルの生成規則
1 flink-sql は寄木細工のファイルをに書き込みます
ルールの要約:
1) チェックポイントで、コンパクト ファイル (すぐに読み取り可能) を生成し、次のチェックポイントで非圧縮 (読み取り不能) ファイルを削除します。
2) 1 つのチェックポイント内のファイルのみをマージできます。異なるチェックポイントで生成されたファイルはマージされません。
3) パーティションが 2 つのチェックポイントを終了すると、ファイルが使用可能になります。
参考リンク：
Flink で小さなファイルを結合する - Programmer Sought