Flink集群搭建

下载

• 根据hadoop版本下载对应的flink版本
• 鉴于使用的是hadoop2.4.x版本，此处使用最新版本flink-1.4.2。下载链接：https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.4.2/flink-1.4.2-src.tgz

linux环境准备

• 主机
  • artemis-02
  • artemis-03
  • artemis-04
• 安装位置
  • /home/hadoop/soft

安装

• winscp远程登录artemis-02

• 上传

  将flink-1.4.2-bin-hadoop24-scala_2.11.tgz上传至artemis-02:/home/hadoop/soft 下

• 解压、建立链接

  cd /home/hadoop/soft
  tar -zxvf flink-1.4.2-bin-hadoop24-scala_2.11.tgz
  ln -s flink-1.4.2 flink
  

• 配置flink

  • 修改conf/slaves（配置taskManager进程所在主机位置）

    artemis-02
    artemis-03
    artemis-04
    

  • 修改conf/flink-conf.yaml（flink集群参数）

    taskmanager.numberOfTaskSlots: 4
    parallelism.default: 4
    jobmanager.rpc.address: artemis-02
    jobmanager.web.address: artemis-02
    web.port: 8085
    

  • 将flink-1.4.2目录远程拷贝到其他主机
    • 拷贝

    scp -r flink-1.4.2 hadoop@artemis-03:/home/hadoop/soft/
    scp -r flink-1.4.2 hadoop@artemis-03:/home/hadoop/soft/
    

    • 建立软链接
      • artemis-03 、artemis-04上建立flink软链接

• 配置flink环境变量

  • 配置(三台主机分别 修改 /etc/profile）

    export FLINK_HOME=/home/hadoop/soft/flink
    export PATH=$PATH:$FLINK_HOME/bin
    

  • 使环境变量生效（三台主机都执行）

        source /etc/profile
    

操作flink集群

• 启动flink集群

  start-cluster.sh
  

• webUI

  http://artemis-02:8085
  

• 停止集群

  start-cluster.sh