#################################################################################
准备工作:
确保hadoop能正常启动
确保flink集群启动正常．
确保zookeeper+hbase能正常启动
#################################################################################
flink-conf.yaml
jobmanager.rpc.address: Desktop
high-availability: zookeeper
high-availability.storageDir: hdfs://Desktop:9000/flink/ha/(这个是hdfs路径)
high-availability.zookeeper.quorum: Desktop:2181,Laptop:2182,Laptop:2183(从下面的$ZOOKEEPER/conf/zoo_leader.cfg抄过来)
high-availability.zookeeper.path.root: /flink(这个是hdfs路径)
high-availability.cluster-id: /flink-cluster
$ZOOKEEPER/conf/zoo_leader.cfg示范如下,其中一部分直接照抄到上面的flink-conf.yaml中
server.1=Desktop:2881:3881
server.2=Laptop:2882:3882
server.3=Laptop:2883:3883
多嘴几句:
上面的hdfs相關的路徑,如果没有自己去hdfs下面新建好，免得报错．
#################################################################################
masters:
Desktop:8085
Laptop:8085
slaves文件不需要修改,原来是啥样保持原样
zookeepers文件不需要修改,原来是啥样保持原样(所以我说了前面你要先测试好hbase+zookeeper)
#################################################################################
上述配置文件同步到集群其他各个节点
启动hadoop
启动zookeeper(master和slave需要分别启动)
启动flink集群
##################################################################################
这里千万注意一个问题，zookeeper的所有端口都不能和FLINK的端口冲突，不然就会有好不容易启动后又自动关闭的问题．
所以为了FLINK的HA,我的FLINK端口改成8085了
##################################################################################
Flink+standalone+HA模式正常启动后jps如下(Desktop+Laptop构成的真实集群，
其中Laptop两个zk伪节点，Desktop一个zk节点):
| Desktop的jps | Laptop的jps |
| 71344 StandaloneSessionClusterEntrypoint 81890 QuorumPeerMain 67397 ResourceManager 67621 NodeManager 75976 Jps 66797 DataNode 66364 NameNode 71775 TaskManagerRunner |
3315 QuorumPeerMain 29860 NodeManager 31029 Jps 30889 TaskManagerRunner 3354 QuorumPeerMain 29691 DataNode 30494 StandaloneSessionClusterEntrypoint |
会看到有两个Task Managers.
注意两点:
①因为flink-conf.yaml中有关于hdfs的配置，所以hadoop必须启动
②log中的下列报错可以忽略
flink-appleyuchi-standalonesession-1-Desktop.log:2020-06-17 14:10:34,694 ERROR org.apache.flink.shaded.curator4.org.apache.curator.ConnectionState [] - Authentication failed
flink-appleyuchi-taskexecutor-1-Desktop.log:2020-06-17 14:10:37,081 ERROR org.apache.flink.shaded.curator4.org.apache.curator.ConnectionState [] - Authentication failed