开发流程:
flink开发流程比较固化,一般分为一下几个阶段:
1.获取一个执行环境 ExecutionEnvironment/StreamExecutionEnvironment
2.加载/初始化数据源返回数据集 source
3.数据加工 transcation
4.指定数据存放位置 sink
5.调用execute()出发执行程序
下面我们正对stream计算对每个阶段做详细介绍:
StreamExecutionEnvironment
StreamExecutionEnvironment是流程执行的上下文,提供了控制作业执行(例如设置并行性或容错/检查点参数)和与外部世界交互(数据访问)的方法。
StreamExecutionEnvironment类结构:
DataStream
datastream表示同一类型的元素流。可以通过应用转换将一个datastream转换为另一个datastream。datastream包含了
StreamExecutionEnvironment和Transformation。
datastream主要方法如下:
datastream类结果: