flink源码阅读---stream开发流程

开发流程:

flink开发流程比较固化,一般分为一下几个阶段:

1.获取一个执行环境  ExecutionEnvironment/StreamExecutionEnvironment

2.加载/初始化数据源返回数据集 source

3.数据加工 transcation

4.指定数据存放位置 sink

5.调用execute()出发执行程序

下面我们正对stream计算对每个阶段做详细介绍:

StreamExecutionEnvironment

StreamExecutionEnvironment是流程执行的上下文,提供了控制作业执行(例如设置并行性或容错/检查点参数)和与外部世界交互(数据访问)的方法。

StreamExecutionEnvironment类结构:

DataStream

datastream表示同一类型的元素流。可以通过应用转换将一个datastream转换为另一个datastream。datastream包含了

StreamExecutionEnvironment和Transformation。

datastream主要方法如下:

datastream类结果:

transcation:

猜你喜欢

转载自blog.csdn.net/wjandy0211/article/details/106563797
今日推荐