目录
Flink 1.9本身只提供支持Hadoop 2.4.1, 2.6.5, 2.7.5, 2.8.3 的预编译安装包。如果想要flink on yarn(HDP3.1),一定需要自己编译。
编译准备
git
maven
jdk8或更高
编译过程
在编译flink之前需要先编译安装flink-shaded.然后再编译flink.因为flink依赖flink-shaded。
1.flink-shaded
git clone https://github.com/apache/flink-shaded.git
2.git checkout release-7.0 切换分支
3.mvn clean install -DskipTests -Dhadoop.version=3.1.1 -Drat.skip=true
编译完成之后,对应的flink-shaded就安装在本地maven仓库了.
2.flink
1.git clone https://github.com/apache/flink.git
2.git checkout release-1.9.1
3.mvn clean install -DskipTests -Dmaven.javadoc.skip=true -Dhadoop.version=3.1.1 -Pfast -Pinclude-hadoop
如此,大功告成。