flink源码阅读(概览)

clone官方1.6.2版本flink,成功编译。(一般PC还真跑不动,我是用服务器编译的)

编译完后,略微修改了一下启动脚本后,成功跑起来。

sh bin/start-cluster.sh 

红色部分是我改过的地方:

vim start-cluster.sh

bin=`dirname "$0"`
bin=`cd "$bin"; pwd`
FLINK_BIN_DIR=$bin
cd $bin

. config.sh

启动成功后就可以看界面,也可以运行job了。

flink的源码大部分是java写的,少部分是scala写的(运行时模块)

入口类(启动后两个进程,两个入口类):
org.apache.flink.runtime.entrypoint.StandaloneSessionClusterEntrypoint
org.apache.flink.runtime.taskexecutor.TaskManagerRunner

再介绍一下基本概念Stream和DataSet,前者用于流处理,后者用于批处理。

猜你喜欢

转载自www.cnblogs.com/geektcp/p/9878656.html
今日推荐