需求描述
表1大量数据，表2小量数据，表1通过join表2补充数据，将表1按照某个条件分区然后各分区排序，用dataset批处理
表1有1275个gz文件，每个500多M，解压后1.8G，gz文件只能单线程读，所以并发数设成文件数
主要问题
flink的官方文档还比较好，api说明挺清楚，yarn的配置是难点，各种报错
org.apache.flink.runtime.io.network.netty.exception.RemoteTransportException: Connection unexpectedly closed by remote task manager 'hostname/1.1.1.1:36886'. This might indicate that the remote task manager was lost
java.util.concurrent.TimeoutException: Heartbeat of TaskManager with id container_a11_1553213258761_7228_01_021030 timed out.
org.apache.flink.util.FlinkException: The assigned slot container_a11_1553334567761_7286_01_004008_7 was removed.
java.io.IOException: Thread 'SortMerger Reading Thread' terminated due to an exception: Consumed partition PipelinedSubpartitionView(index: 0) of ResultPartition 665042c64946d24ca6258cc1cc205540@da7136b7f7d3e9f75825dc88d9950f3c has been released.
分析主要应该是TaskManager内存和slot数的匹配设置问题，好在最后终于跑顺了。
akka.pattern.AskTimeoutException这个报错目前分析处三种可能的原因：
- 并发度超过yarn容量，减小并发度
- 网络交互耗时长，加大akka.ask.timeout设置
- 分发任务的时候耗时长，web监控超时了，加大web.timeout设置
其中有个关键点，排序如果使用完整的时间戳字符串“2019-01-01 10:00:00.123456”，就要逐个字符比较ascii码，前面10几位都是一样的，资源消耗比较大，跑崩，如果提取一个秒数转换为整数作比较就可以了。
不同并发数的效率对比
| 并发 | taskmanager.memory.preallocate | 耗时 |
|---|---|---|
| 1200 | true | 271963 ms |
| 1500 | true | 313939 ms |
| 1275 | true | 260447 ms |
| 1000 | true | 273832 ms |
| 1275 | false | 138437 ms |
- 并发数高于或低于文件数都比等于文件数慢，越小于文件数越慢
- taskmanager.memory.preallocate是用于批处理时预分配内存的配置，设置成true更慢
MapReduce Tez Flink 对比
| MapReduce | Tez | Flink |
|---|---|---|
| 258 s | 170 s | 133 s |
