Flink集群部署详细步骤

1.下载Flink压缩包

下载地址:http://flink.apache.org/downloads.html

我集群环境是hadoop2.6Scala2.11版本的,所以下载的是:

flink-1.3.1-bin-hadoop26-scala_2.11.tgz

2.解压

上传至五个节点的相同目录,执行如下命令解压:

tar xzf flink-1.3.1-bin-hadoop26-scala_2.11.tgz

3.配置master节点

选择一个 master节点(JobManager)然后在conf/flink-conf.yaml中设置jobmanager.rpc.address 配置项为该节点的IP 或者主机名。确保所有节点有有一样的jobmanager.rpc.address 配置。

4.配置slaves

将所有的 worker 节点 (TaskManager)的IP 或者主机名(一行一个)填入conf/slaves 文件中。

5.启动flink集群

bin/start-cluster.sh

6.注意

https://ci.apache.org/projects/flink/flink-docs-release-1.0/setup/config.html查看更多可用的配置项。为了使Flink 更高效的运行,还需要设置一些配置项。

以下都是非常重要的配置项:

1TaskManager总共能使用的内存大小(taskmanager.heap.mb

2、每一台机器上能使用的 CPU 个数(taskmanager.numberOfTaskSlots

3、集群中的总 CPU个数(parallelism.default

4、临时目录(taskmanager.tmp.dirs

7.示例

下面的例子阐述了三个节点的集群部署(IP地址从10.0.0.1 10.0.0.3,主机名分别为master, worker1, worker2)。并且展示了配置文件,以及所有机器上一致的可访问的安装路径。 

8.Flink On Yarn配置

你可以很方便地将 Flink部署在现有的YARN集群上,操作如下:

1、下载 Flink Hadoop2: Flink with Hadoop 2

2、确保你的 HADOOP_HOME (YARN_CONF_DIR HADOOP_CONF_DIR) __环境变量__设置成你的YARN HDFS 配置。

3、运行 YARN客户端:./bin/yarn-session.sh。你可以带参数运行客户端 -n 10 -tm 8192表示分配 10 TaskManager,每个拥有8 GB 的内存。

猜你喜欢

转载自blog.csdn.net/zhou_shaowei/article/details/76258240