Centos7下Apache Flink1.12安装部署


安装环境准备:

  • jdk1.8.0_281
  • scala-2.11.12
  • hadoop-2.8.5
  • flink-1.12.1-bin-scala_2.11.tgz

(1)Flink下载安装

Flink下载地址:

在这里插入图片描述
选择第二个Binaries下载,然后选择对应的Scala版本,我这里使用的是Scala2.11.12,所以我下载flink对应Scala的版本。网上有的教程是安装的flink1.9版本,从flink1.9的官方文档看出需要Hadoop2.8.3编译Flink。
在这里插入图片描述
对比flink1.12的版本,1.12的官方文档和1.9的官方文档有差距,flink1.12不需要Hadoop编译!

(2)安装配置

Flink1.12官方文档安装部署:

对文件赋予权限

chmod u+x flink-1.12.1-bin-scala_2.11.tgz 

解压软件

tar -zxvf flink-1.12.1-bin-scala_2.11.tgz -C /opt/modules/

创建软链接

ln -s flink-1.12.1/ flink

配置standalone集群模式,我配置一台master节点,三台worker节点。

修改conf/flink-conf.yaml

jobmanager.rpc.address: bigdata-pro-m07

配置conf/masters

bigdata-pro-m07:8081

配置conf/workers

bigdata-pro-m07
bigdata-pro-m08
bigdata-pro-m09

分发到其他节点

scp -r flink-1.12.1/ bigdata-pro-m08:/opt/modules/
scp -r flink-1.12.1/ bigdata-pro-m09:/opt/modules/

ln -s flink-1.12.1/ flink

(3)服务启动

集群模式服务启动:

bin/start-cluster.sh 
Starting cluster.
Starting standalonesession daemon on host bigdata-pro-m07.
Starting taskexecutor daemon on host bigdata-pro-m07.
Starting taskexecutor daemon on host bigdata-pro-m08.
Starting taskexecutor daemon on host bigdata-pro-m09.

查看进程:

8721 StandaloneSessionClusterEntrypoint
9113 Jps
9018 TaskManagerRunner

访问WEB UI:
在这里插入图片描述

(4)运行测试

启动NC

nc -lk 9999
java java python 
java java
hive
hive
hbase
java java java hive hadoop
java hive

运行官网demo

bin/flink run -jar examples/streaming/SocketWindowWordCount.jar --port 9999

查看运行结果

cd /opt/modules/flink/log
cat flink-root-taskexecutor-0-bigdata-pro-m07.out 

java : 4
python : 1
hive : 2
hbase : 1
java : 3
hadoop : 1
hive : 1
java : 1
hive : 1

查看web监控
在这里插入图片描述

我们可以看出做的是每隔5秒做一次窗口聚合。


以上内容仅供参考学习,如有侵权请联系我删除!
如果这篇文章对您有帮助,左下角的大拇指就是对博主最大的鼓励。
您的鼓励就是博主最大的动力!

猜你喜欢

转载自blog.csdn.net/weixin_45366499/article/details/114387119