2020.9.8课堂笔记(hadoop HA模式 高可用集群搭建)

1、hadoop集群搭建 OK
hadoop安装、配置、伪分布式集群搭建
2、zookeeper OK（时区同步 OK）
zookeeper安装配置完成、时间同步设置完成
3、core-site.xml
设置namenode集群的名称
zookeeper 2181地址

name	value	备注
fs.defaultFS	hdfs://ns	默认节点为namenode集群
hadoop.tmp.dir	/opt/hadoop/tmp	hdfs的临时文件的目录
ha.zookeeper.quorum	hadoop01:2181,hadoop02:2181,hadoop03:2181	故障转移需要的zookeeper集群
hadoop.proxyuser.root.hosts	*	其他机器的root用户可访问
hadoop.proxyuser.root.groups	*	其他root组下的用户都可以访问

4、hdfs-site.xml
nameservices集群下面的各个nameservice服务对应的映射
rpc-address的地址9000
http-address的地址50070
journalnode的共享地址(各个datanode)
qjournal://datanode:8485;列表/集群名
出错处理，切换方式及隔离机制的设置，超时设置
5、yarn-site.xml
允许ha
resourcemanager集群配置
rm-ids:rm1,rm2
rm1:nm1 及端口配置8088
rm2:nm2 及端口配置8088
zookeeper配置
6、保证3台机器一致
7、确保集群处于关闭状态
8、删除tmp文件夹，选择主节点重新format(可能需要提前启动journalnode)
9、把主节点新生成的tmp文件夹，复制到备用节点
10、zookeeper要启动
11、启动整个集群
12、在备用节点上启动备用resource manager
13、主节点格式化zkfc
hdfs zkfc -formatZK
14、主备节点启动zkfc
hadoop-daemon.sh start zkfc
15、datanode节点

在完全分布式模式的基础上修改配置文件：

1.core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://ns</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoop/tmp</value>
  </property>
<!--指定zookeeper地址-->
  <property>
    <name>ha.zookeeper.quorum</name>
    <value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
  </property>
  <property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
  </property>
<property>
    <name>hadoop.native.lib</name>
    <value>false</value>
    <description>Should native hadoop libraries, if present, be used.
    </description>
</property>
</configuration>

可能有所不同的地方标注：

2.hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <!--节点数，ha中可不配置 -->
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
  <!--指定名称服务，与core-stie.xml中的一致 -->
  <property>
    <name>dfs.nameservices</name>
    <value>ns</value>
  </property>
  <!--指定名称服务下的namenode节点 -->
  <property>
    <name>dfs.ha.namenodes.ns</name>
    <value>hadoop01,hadoop02</value>
  </property>
  <!--rpc地址，9000端口-->
  <property>
    <name>dfs.namenode.rpc-address.ns.hadoop01</name>
    <value>hadoop01:9000</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.ns.hadoop02</name>
    <value>hadoop02:9000</value>
  </property>
  <!--http地址，50070端口，即页面地址-->
  <property>
    <name>dfs.namenode.http-address.ns.hadoop01</name>
    <value>hadoop01:50070</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.ns.hadoop02</name>
    <value>hadoop02:50070</value>
  </property>
  <!--指定namenode在jornalnode(datanode)上存放数据端口8485-->
  <property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://hadoop01:8485;hadoop02:8485;hadoop03:8485/ns</value>
  </property>
  <!--开启namenode失败自动切换-->
    <property>
      <name>dfs.journalnode.edits.dir</name>
      <value>/opt/hadoop/tmp/dfs/jn</value>
  </property>
  <property>
     <name>dfs.ha.automatic-failover.enabled</name>
     <value>true</value>
  </property>
  <!-- 配置namenode自动切换方式 -->
   <property>
     <name>dfs.client.failover.proxy.provider.ns</name>
     <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
   </property>
  <!--设置隔离机制，多个机制换行-->
  <property>
    <name>dfs.ha.fencing.methods</name>
    <value>
	sshfence
	shell(/bin/true)
    </value>
  </property>
  <!--超时设置-->
  <property>
     <name>dfs.ha.fencing.ssh.connect-timeout</name>
     <value>30000</value>
  </property>
  <property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
  </property>
<!-- 当使用HA配置集群，则不需要secondarynamenode
  <prooerty>
    <name>dfs.namenode.secondary.http-address</name>
    <value>hadoop02:50090</value>
  </property>
-->
</configuration>

可能有所不同的地方标注：

3.mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop01:10020</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop01:19888</value>
  </property>
</configuration>

4.yarn-site.xml

<?xml version="1.0"?>
<configuration>
<!--HA配置-->
<!--开启HA-->
  <property>
    <name>yarn.resourcemanager.ha.enabled</name>
    <value>true</value>
  </property>
<!--指定rm集群id-->
  <property>
    <name>yarn.resourcemanager.cluster-id</name>
    <value>cluster_id</value>
  </property>
<!--rm集群的名称服务-->
  <property>
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm1,rm2</value>
  </property>
<!--指定rm映射关系-->
  <property>
    <name>yarn.resourcemanager.hostname.rm1</name>
    <value>hadoop01</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname.rm2</name>
    <value>hadoop02</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address.rm1</name>
    <value>hadoop01:8088</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address.rm2</name>
    <value>hadoop02:8088</value>
  </property>
<!--配置zookeeper集群-->
  <property>
    <name>yarn.resourcemanager.zk-address</name>
    <value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
  </property>

<!-- Site specific YARN configuration properties -->
<!--指定YARN的ResourceManager的地址,值为主机名
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop01</value>
  </property>-->
  <!-- reducer获取数据方式 -->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
  <!-- 日志聚集功能使用 -->
  <property>
      <name>yarn.log-aggregation-enable</name>
      <value>true</value>
  </property>
  <!-- 日志保留时间设置7天 -->
  <property>
      <name>yarn.log-aggregation.retain-seconds</name>
      <value>604800</value>
  </property>
</configuration>

5.slaves

hadoop01
hadoop02
hadoop03

6.删除tmp文件夹，选择主节点重新format(可能需要提前启动journalnode)

(1) 启动journalnode命令，每台机器都需要启动：

hadoop-daemon.sh start journalnode

(2) 选择主节点格式化：

hadoop namenode -format

7.把主节点新生成的tmp文件夹，复制到备用节点

scp -r /opt/hadoop/tmp hadoop02:/opt/hadoop

8.启动zookeeper

(1) 启动：

zkServer.sh start

(2) 查看状态是否启动成功：

zkServer.sh status

9.在主节点上启动集群

start-all.sh

10.启动zkfc

(1) 在主节点上格式化zkfc

hdfs zkfc -formatZK

(2) 在每个节点启动zkfc

hadoop-daemon.sh start zkfc

11.启动jobhistory，只要启动一个，最好在非主节点上

mr-jobhistory-daemon.sh start historyserver

相关命令:

start-all.sh :启动hdfs和yarn
start-dfs.sh :启动hdfs
start-yarn.sh:启动yarn
stop-all.sh:关闭hdfs和yarn
stop-dfs.sh:关闭hdfs
stop-yarn.sh:关闭yarn
mr-jobhistory-daemon.sh start historyserver :启动历史服务
mr-jobhistory-daemon.sh stop historyserver:关闭历史服务
hadoop-daemon.sh start journalnode 启动journalnode
hdfs zkfc -formatZK 格式化zkfc
hadoop-daemon.sh start zkfc 启动zkfc
zkServer.sh start 启动zookeeper
ntpstat 查看时间同步状态
两个互信用到的命令：
ssh-copy-id -i .ssh/id_rsa.pub -p22 root@hadoop03 
scp /etc/hosts root@hadoop03:/etc/hosts