Flink1.11メモリモデルとパラメータ調整

FlinkTaskManager起動ログ

INFO  [] - Loading configuration property: taskmanager.memory.process.size, 2048m
INFO  [] - Loading configuration property: taskmanager.memory.managed.fraction, 0.3
INFO  [] - Loading configuration property: taskmanager.memory.jvm-overhead.fraction, 0.2
INFO  [] - Loading configuration property: taskmanager.memory.network.fraction, 0.1
INFO  [] - Loading configuration property: parallelism.default, 2
INFO  [] - Loading configuration property: task.cancellation.timeout, 0
INFO  [] - Final TaskExecutor Memory configuration:
INFO  [] -   Total Process Memory:          2.000gb (2147483648 bytes)
INFO  [] -     Total Flink Memory:          1.350gb (1449551456 bytes)
INFO  [] -       Total JVM Heap Memory:     701.440mb (735513127 bytes)
INFO  [] -         Framework:               128.000mb (134217728 bytes)
INFO  [] -         Task:                    573.440mb (601295399 bytes)
INFO  [] -       Total Off-heap Memory:     680.960mb (714038329 bytes)
INFO  [] -         Managed:                 414.720mb (434865454 bytes)
INFO  [] -         Total JVM Direct Memory: 266.240mb (279172875 bytes)
INFO  [] -           Framework:             128.000mb (134217728 bytes)
INFO  [] -           Task:                  0 bytes
INFO  [] -           Network:               138.240mb (144955147 bytes)
INFO  [] -     JVM Metaspace:               256.000mb (268435456 bytes)
INFO  [] -     JVM Overhead:                409.600mb (429496736 bytes)

1. 合計プロセスメモリ：flinkの合計リソース2048m、パラメータ：taskmanager.memory.process.size
2. JVMメタスペース：JVMメタスペース、パラメーター：taskmanager.memory.jvm-metaspace.size、計算：デフォルト値256m
3. JVMオーバーヘッド：JVM追加オーバーヘッド、パラメーター：taskmanager.memory.jvm-overhead.fraction、計算：2048 * 0.2 = 409.6m
4. 合計Flinkメモリ：flinkに使用可能なリソースの数、計算：1-2-3 = 1.35gから
5. 合計JVMヒープメモリ：JVMヒープメモリ、計算：4-6 = 701.44m
6. 合計オフヒープメモリ：JVMオフヒープメモリ、計算：7 + 8 = 701.44m
7. 合計JVMダイレクトメモリ：計算：9 + 10（デフォルトは0）+ 11 = 266.240m
8. 管理対象：管理対象メモリ、パラメータ：taskmanager.memory.flink.size、計算：合計フリンクメモリ0.6 = 1.35 0.3 = 414.72m
9. ネットワーク：ネットワークキャッシュ、パラメーター：taskmanager.memory.network.fraction、計算：合計フリンクメモリ0.1 = 1.35 0.1 = 138.240m
10. フレームワーク：Flinkフレームワークメモリ、パラメータ：taskmanager.memory.framework.heap.size、計算：デフォルト128m
11. タスク：タスクメモリ、計算：5-10 = 573.440m