Flink引擎
Flink概述
什么是大数据
指无法在一定时间内用常规软件工具对其进行获取、存储、管理和处理的数据集合。
批计算和流计算的区别
为什么需要流计算
大数据的实时性带来价值更大，eg：实时推荐、数据监控
Flink的特点
Exactly-Once
高吞吐低延迟，实时快速
高容错
流批一体
Streaming/Batch SQL
Flink整体框架
Flink 分层框架
SDK层：支持SQL/Table、DataStream(java)、Python
执行引擎层：提供统一DAG（有向无环图）来描述数据处理的Pipeline；调度层再把DAG转化成分布式环境下的Task；Task之间通过Shuffle传输数据
状态存储层：存储算子状态信息
资源调度层：Flink可以支持部署在多种环境
Flink 整体框架
一个Flink集群主要包含两个核心组件：JM（JobManager）、TM（TaskManager）
JM 负责整个任务的协调工作，包括：调度 task、触发协调 Task 做 Checkpoint、协调容错恢复等，核心有下面三个组件：
Dispatcher: 接收作业，拉起 JobManager 来执行作业，并在 Job Master 挂掉之后恢复作业；
Job Master: 管理一个 job 的整个生命周期，会向 Resource Manager 申请 slot，并将 task 调度到对应 TM 上；
Resource Manager：负责 slot 资源的管理和调度，Task manager 拉起之后会向 RM 注册；
TM 负责执行一个 DataFlow Graph 的各个 task 以及 data streams 的 buffer 和数据交换。
Flink 如何做到流批一体
流计算和批计算独立情况下：
人力成本高：批、流两套系统的逻辑相似，但是需要开发两遍；
数据链路冗余：本身计算内容是一致的，用两套逻辑相似的链路来处理，产生一定的资源浪费；
数据口径不一致：两套链路或多或少会产生误差，会给业务方带来困扰。
为什么可以实现流批一体：
站在 Flink 的角度，Everything is Streams，无边界数据集是一种数据流，可以按照时间分成一个个有界数据集；
而批计算可以看作是流计算的特例，其有界数据集也是一种特殊数据流。
因此，无论是无边界数据集还是有界数据集，Flink都可以支持，并且从API到底层处理都是统一的，实现了流批一体。
流批一体的 Scheduler 层
Scheduler 主要负责将作业的 DAG 转化为在分布式环境中可以执行的 Task；
EAGER模式（Streaming 场景）：申请一个作业所需要的全部资源，然后同时调度这个作业的全部 Task，所有的 Task 之间采取 Pipeline 的方式进行通信；
LAZY模式（Batch 场景）：先调度上游，等待上游产生数据或结束后再调度下游，类似 Spark 的 Stage 执行模式。
流批一体的 Shuffle Service 层
Shuffle：在分布式计算中，用来连接上下游数据交互的过程叫做 Shuffle。
为了统一在Streaming和Batch模式下的Shuffle架构，Flink实现了一个Pluggable的Shuffle Service框架，抽象出一些公共模块，详情如下
经过在 DataStream 层、Scheduler层、Shuffle Service 层进行改造和优化，Flink已经可以方便地解决流和批场景的问题。