flink on yarn 部署

其他 2019-11-16 22:50:47 阅读次数: 0

一、部署说明

flink是apache一款大数据实时计算应用，在生产环境中，用来实时计算应用产生的日志，数据等，满足预警，入库等需求

二、系统环境

  • 系统版本：centos 7.2
  • java版本: jdk 1.8.0_161
  • zookeeper版本: zookeeper-3.4.9
  • hadoop版本： Hadoop-2.8.3.tar.gz
  • flink版本： flink-1.4.0

四个机器，其中192.168.3.60作为flink 的master，也就是jobmanager，其它三个机器作为taskmanager

三、准备部署

1、关闭selinux

sed ‘s/SELINUX=enforcing/SELINUX=disabled/‘ /etc/selinux/config

2、关闭防火墙

1
2
3
4
 
firewall-cmd --state #查看防火墙状态
systemctl stop firewalld.service  #停用firewall
systemctl disable firewalld.service #禁止防火墙开机启动
init 6  #重启主机，然后再输入第一条命令查看防火墙状态

3、安装jdk1.8

由于centos7.2自带jdk，但是是sun公司的jdk，一般我们都是用自己的jdk包，所以先卸载

1
2
 
rpm -qa | grep java | xargs rpm -e --nodeps
#根据java关键词找出对应包，然后卸载

4、创建普通用户以及设置应用目录

1
2
3
 
mkdir -p /app/appflink #创建用户目录
useradd -d /app/appflink appflink
passed appflink  #设置密码

5、以普通用户上传程序包到上面配置的用户目录，配置变量

1
2
3
4
5
6
7
8
9
 
cd /app/appflink
tar zxvf jdk-8u101-linux-x64.tar.gz #解压到用户目录
vi vi ~/.bash_profile
配置如下:
 export PS1='[u@h w]'
 export JAVA_HOME=/app/appflink/jdk1.8.0_101
 export JRE_HOME=${JAVA_HOME}/jre
 export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
 export PATH=${JAVA_HOME}/bin:$PATH

6、配置master免密码登陆其余机器

CentOS默认没有启动ssh无密登录，去掉/etc/ssh/sshd_config其中2行的注释，每台服务器都要设置，

1
2
 
RSAAuthentication yes
PubkeyAuthentication yes

输入命令，ssh-keygen -t rsa，生成key，都不输入密码，一直回车，在用户根目录就会生成.ssh文件夹，每台服务器都要设置
进入用户根目录下面的认证文件夹

1
2
3
4
5
6
 
cd ~/.ssh/
#合并公钥到authorized_keys文件，在flink-master服务器，通过SSH命令合并
cat id_rsa.pub>> authorized_keys
ssh [email protected] cat ~/.ssh/id_rsa.pub>> authorized_keys
ssh [email protected] cat ~/.ssh/id_rsa.pub>> authorized_keys
ssh [email protected] cat ~/.ssh/id_rsa.pub>> authorized_keys

四、部署zookeeper集群

这里我们使用，192.168.3.61, 192.168.3.62, 192.168.3.63

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
 
cd ./bin/zookeeper-3.4.9/conf    #这里进入配置目录
   mv zoo_sample.cfg zoo.cfg
  #修改主要配置，
  dataDir=/app/appflink/bin/zookeeper-3.4.9/data
  dataLogDir=/app/appflink/bin/zookeeper-3.4.9/log

  #最后一行添加，使用三个机器组合集群
  server.1=flink-slave1:2888:3888
  server.2=flink-slave2:2888:3888
  server.3=flink-slave3:2888:3888

  #修改hosts,ip和主机名自定义
  cat /etc/hosts
  192.168.3.60 flink-master
  192.168.3.61 flink-slave1
  192.168.3.62 flink-slave2
  192.168.3.63 flink-slave3

  #创建数据目录，日志目录，写入自身id
  mkdir -p /app/appflink/bin/zookeeper-3.4.9/data
  mkdir -p /app/appflink/bin/zookeeper-3.4.9/log
  vi /app/appflink/bin/zookeeper-3.4.9/data/myid
  #这里id要注意，要和zoo.cfg配置里的1，2，3对应，然后分别写入1，2，3，内容就一个id就好了

  #启动zookeeper,三个机器依次启动
  cd /app/appflink/bin/zookeeper-3.4.9/bin
  ./zkServer.sh start
  ./zkServer.sh status  #查看状态，正常情况下，应该是flower或者leader

五、部署hadoop

1
2
3
4
5
6
7
8
9
 
修改hadoop配置文件
  vi hadoop-env.sh
  在25位置，配置如下
  export JAVA_HOME=/app/appflink/jdk1.8.0_101

  创建hadoop需要的目录
  mkdir -p /app/appflink/data/hadoop/hdfs/name
  mkdir -p /app/appflink/data/hadoop/hdfs/data
  mkdir -p /app/appflink/data/hadoop/tmp
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120

      
      
       
       大专栏  
       
       flink on yarn 部署n class="line">121
       
       

       
       122
       
       

       
       123
       
       

       
       124
       
       

       
       125
       
       

       
       126
       
       

       
       127
       
       

       
       128
       
       

       
       129
       
       

      
      
vi hdfs-site.xml
  配置如下:
<property>
   <name>dfs.namenode.name.dir</name>
   <value>file:/app/appflink/data/hadoop/hdfs/name</value>
   <!--HDFS namenode数据镜象目录-->
   <description>  </description>
  </property>

  <property>
  <name>dfs.datanode.data.dir</name>
  <value>file:/app/appflink/data/hadoop/hdfs/data</value>
  <!-- HDFS datanode数据镜象存储路径,可以配置多个不同的分区和磁盘中,使用,号分隔 -->
  <description> </description>
  </property>

  <property>
  <name>dfs.namenode.http-address</name>
  <value>flink-master:50070</value>
  <!---HDFS Web查看主机和端口-->
  </property>

  <property>
  <name>dfs.namenode.secondary.http-address</name>
  <value>flink-master:50090</value>
  <!--辅控HDFS web查看主机和端口-->
  </property>

  <property>
  <name>dfs.webhdfs.enabled</name>
  <value>true</value>
  </property>

  <property>
  <name>dfs.replication</name>
  <value>3</value>
  <!--HDFS数据保存份数，通常是3-->
  </property>

  <property>
  <name>dfs.datanode.du.reserved</name>
  <value>1073741824</value>
  <!-- datanode 写磁盘会预留 1G空间 给其他程序使用,而非写满,单位 bytes-->
  </property>

  <property>
  <name>dfs.block.size</name>
  <value>134217728</value>
  <!--HDFS数据块大小，当前设置为128M/Blocka-->
  </property>

  <property>
  <name>dfs.permissions.enabled</name>
  <value>false</value>
  <!-- HDFS 关闭文件权限 -->
  </property>

  //vi cre-site.xml
  配置内容如下
  <property>
  <name>fs.defaultFS</name>
  <value>hdfs://flink-master:9000</value>
  <!--hadoop namenode 服务器地址和端口，以域名形式-->
  </property>

  <property>
  <name>dfs.namenode.checkpoint.period</name>
  <value>1800</value>
  <!-- editlog每隔30分钟触发一次合并，默认为60分钟 -->
  </property>

  <property>
  <name>fs.checkpoint.size</name>
 <value>67108864</value>
 </property>

  <property>
  <name>fs.trash.interval</name>
  <value>1440</value>
  <!-- Hadoop文件回收站,自动回收时间,单位分钟,这里设置是1天，默认为0。-->
  </property>

  <property>
 <name>hadoop.tmp.dir</name>
  <value>file:/app/appflink/data/hadoop/tmp</value>
  <!-- Hadoop的默认临时路径，这个最好配置，如果在新增节点或者其他情况下莫名其妙的DataNode启动不了，就删除此文件中的tmp目录即可。不过如果删除了NameNode机器的此目录，那么就需要重新执行NameNode格式化的命令。/data/hadoop/tmp这里给的路径不需要创建会自动生成.-->
  </property>

  <property>
  <name>io.file.buffer.size</name>
  <value>131702</value>
  <!-- 流文件的缓冲区-->
  </property>

  配置mapred-site.xml
  <property>
      <name>mapreduce.framework.name</name>
        <value>yarn</value>
  </property>

  配置yarn-site.xml,内容如下
  <property>
  <name>yarn.resourcemanager.address</name>
  <value>flink-master:18040</value>
 </property>
 <property>
  <name>yarn.resourcemanager.scheduler.address</name>
  <value>flink-master:18030</value>
 </property>
 <property>
  <name>yarn.resourcemanager.webapp.address</name>
  <value>flink-master:18088</value>
 </property>
 <property>
  <name>yarn.resourcemanager.resource-tracker.address</name>
  <value>flink-master:18025</value>
 </property>
 <property>
  <name>yarn.resourcemanager.admin.address</name>
  <value>flink-master:18141</value>
 </property>
 <property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
 </property>
 <property>
  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
  <value>org.apache.hadoop.mapred.ShuffleHandler</value>
 </property>

配置hadoop环境变量

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
 
set hadoop path
  #添加如下配置
  export HADOOP_HOME=/app/appflink/hadoop-2.8.3
  export PATH=$PATH:$HADOOP_HOME/bin

  #确认生效
  cd /app/appflink/hadoop-2.8.3/etc/hadoop
  source hadoop-env.sh
  hadoop Version
  #格式化数据目录，只需要一次，下次启动不再需要格式化，只需start-all.sh
  hadoop namenode -format

  #启动hadoop
  cd /app/appflink/hadoop-2.8.3/sbin
  ./start-all.sh
  #使用jsp查看进程是否都启动了，然后我们可以登陆web控制台创建目录节点

六、搭建flink集群

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
 
#编辑flink-conf.yaml文件
vi flink-conf.yaml
#主要内容如下:
jobmanager.rpc.address: 192.168.3.60   #job进程监听的地址
fs.hdfs.hadoopconf: /app/flink/hadoop/conf/ #高可用时候，hadoop配置地址
high-availability: zookeeper     #使用zk实现高可用
#下面两个目录需要在hadoop上面创建，分别是/flinkshare/ha, /ZooKeeper/ha
high-availability.storageDir: hdfs://flink-master:9000/flinkshare/ha/
recovery.zookeeper.storageDir: hdfs://flink-master:9000/ZooKeeper/ha/
#通过zk来选举
high-availability.zookeeper.quorum: flink-slave1:2181,flink-slave2:2181,flink-slave3:2181

#编辑master文件，写入两个机器ip和端口
192.168.3.60:8081
192.168.3.61:8081

#编辑slaves文件，写入所有task进程机器
flink-slave1
flink-slave2
flink-slave3

#编辑zoo.cfg,将机器列表填入
server.1=flink-slave1:2888:3888
server.2=flink-slave2:2888:3888
server.3=flink-slave3:2888:3888

#将文件通过scp拷贝到其它机器
scp -r /app/appflink/bin/flink-1.4.0 [email protected]:/app/appflink/bin/
scp -r /app/appflink/bin/flink-1.4.0 [email protected]:/app/appflink/bin/
scp -r /app/appflink/bin/flink-1.4.0 [email protected]:/app/appflink/bin/

#接下来，启动flink集群

cd /app/appflink/bin/flink-1.4.0/bin
./start-cluster.sh cluster start

#登陆web控制台，http://192.168.3.60:8081,正常情况下，就能看到3个taskmanager，2个jobmanager
#为了验证高可用，可以随便结束一个jobmanager进程，看看是不是都能访问

猜你喜欢

转载自www.cnblogs.com/liuzhongrong/p/11874348.html
今日推荐
中国码农的“35岁魔咒”
蘭雅 CorelDRAW 插件 2024.5.1 国际劳动节版，免费下载
Arc Browser for Windows 1.0 正式 GA
90后程序员开发视频搬运软件、不到一年获利超 700 万，结局很刑！
《美国对全球网络空间安全与发展的威胁和破坏》报告发布
周排行
Java基础复习_day13_Collection集合
2018.11.16 c语言学习经验
且看Java内置四大核心函数式接口
小程序云开发中数据库的数据分段和显示图片
python的函数
Web-JS进阶
【干货】C++常用代码积累笔记大全
Spring的ioc操作 与 IOC底层原理
构建之法20191121-11 Scrum立会报告+燃尽图 07
Spring boot之Hello World访问404
每日归档
更多
2024-05-05(0)
2024-05-04(7)
2024-05-03(19)
2024-05-02(0)
2024-05-01(4)
2024-04-30(1)
2024-04-29(40)
2024-04-28(0)
2024-04-27(56)
2024-04-26(39)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022