Flink是什么

1.Flink是什么

Flink是一个流式计算框架,它可以处理无限量的数据,并在真正的实时上下文中运行。
Flink是一个分布式的、高性能的、可伸缩的、容错的流处理引擎,它支持批处理和流处理,并提供了丰富的API和库,是实时数据处理的理想选择。

2.主要角色

Flink中的主要角色有:
JobManager:负责接收提交的作业并分配任务,监控作业的执行情况,并在节点故障时重新分配任务;
TaskManager:负责实际的任务执行,包括数据的读取、转换、计算和输出;
Client:提交作业的客户端,将作业提交至JobManager,并接收作业的执行结果。

3.角色之间的通讯方式

Flink中角色之间的最佳通讯方式是基于Akka实现的异步消息传递。
JobManager和TaskManager之间的通讯是通过异步的消息传递来完成的。
当JobManager需要向TaskManager发送指令时,会将指令封装成消息发送给TaskManager,并等待TaskManager的响应。
TaskManager在接收到消息后,会执行相应的指令,并将执行结果返回给JobManager。

4.需要监控的指标

1.作业的执行情况,包括作业的启动时间、执行时间、完成时间等;
2.TaskManager的资源使用情况&

猜你喜欢

转载自blog.csdn.net/Wxh_bai/article/details/130094885
今日推荐