第三章 Hadoop 运行模式(2)

第三章 Hadoop 运行模式(2)

3.2.4 集群配置

1. 集群部署规划

   • NameNode和SecondaryNameNode 不要安装在同一台服务器

   • ResourceManager也很消耗内存,不要和NameNode,SecondaryNameNode配置在同一台机器上

     	hadoop102	Hadoop103	hadoop104
     HDFS	NameNode DataNode	DataNode	SecondaryNameNode DataNode
     YARN	NodeManager	ResourceManager NodeManager	NodeManager

配置文件说明

hadoop配置文件分为两类:默认配置文件和自定义配置文件,只有用户想修改某一默认配置值的时候,才需要修改自定义配置文件,更改相应的属性值.

• 默认配置文件

• 要获取的默认文件
  [core-default.xml]	hadoop-common-3.1.3.jar/core-default.xml
  [hdfs-default.xml]	hadoop-hdfs-3.1.3.jar/hdfs-default.xml
  [yarn-default.xml]	hadoop-yarn-common-3.1.3.jar/yarn-default.xml
  [mapred-default.xml]	hadoop-mapreduce-client-core-3.1.3.jar/mapred-default.xml

  自定义配置文件

  core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml 四个配置文件存放在**$HADOOP_HOME/etc/hadoop** 这个路径上，用户可以根据项目需求重新进行修改配置。

1. 配置集群

    cd $HADOOP_HOME/etc/hadoop
   

   1. 核心配置文件(core-site.xml)

      <?xml version="1.0" encoding="UTF-8"?>
      <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
      <configuration>
        <!-- 指定 NameNode 的地址 -->
        <property>
          <name>fs.defaultFS</name>
          <value>hdfs://hadoop102:8020</value>
        </property>
        <!-- 指定 hadoop 数据的存储目录 -->
        <property>
          <name>hadoop.tmp.dir</name>
          <value>/opt/module/hadoop-3.1.3/data</value>
        </property>
        <!-- 配置 HDFS 网页登录使用的静态用户为 admin -->
        <property>
          <name>hadoop.http.staticuser.user</name>
          <value>admin</value>
        </property>
      </configuration>
      

   2. HDFS配置文件(hdfs-site.xml)

      <?xml version="1.0" encoding="UTF-8"?>
      <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
      <configuration>
        <!-- nn web 端访问地址-->
        <property>
          <name>dfs.namenode.http-address</name>
          <value>hadoop102:9870</value>
        </property>
        <!-- 2nn web 端访问地址-->
        <property>
          <name>dfs.namenode.secondary.http-address</name>
          <value>hadoop104:9868</value>
        </property>
      </configuration>
      

   3. YARN配置文件(yarn-site.xml)

      <?xml version="1.0" encoding="UTF-8"?>
      <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
      <configuration>
        <!-- 指定 MR 走 shuffle -->
        <property>
          <name>yarn.nodemanager.aux-services</name>
          <value>mapreduce_shuffle</value>
        </property>
        <!-- 指定 ResourceManager 的地址-->
        <property>
          <name>yarn.resourcemanager.hostname</name>
          <value>hadoop103</value>
        </property>
        <!-- 环境变量的继承 -->
        <property>
          <name>yarn.nodemanager.env-whitelist</name>
          <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CO
            NF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAP
            RED_HOME</value>
        </property>
      </configuration>
      

   4. MapReduce配置文件(mapred-site.xml)

      <?xml version="1.0" encoding="UTF-8"?>
      <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
      <configuration>
        <!-- 指定 MapReduce 程序运行在 Yarn 上 -->
        <property>
          <name>mapreduce.framework.name</name>
          <value>yarn</value>
        </property>
      </configuration>
      

   5. 配置works

      hadoop102
      hadoop103
      hadoop104
      

      注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

分发配置文件

xsync /opt/module/hadoop-3.1.3/etc/hadoop/

3.2.5 集群启动

1. 如果是第一次集群启动,需要在hadoop102节点格式化NameNode

   1. 注意,格式化NameNode,会产生新的集群id,导致NameNode和DataNode的集群id不一致,集群找不到以往的数据.如果集群在运行过程中报错,需要重新格式化NameNode的话,一定要先停止NameNode和DataNode进程,并且要删除所有机器的data和logs目录,然后再进行格式化)

   2. 格式化命令

      hdfs namenode -format
      

2. 启动HDFS

   sbin/start-dfs.sh
   

3. 在配置了ResourceManager的节点hadoop103上启动YARN

   sbin/start-yarn.sh
   

4. web端查看HDFS的NameNode

   1. 浏览器中输入:http://hadoop102:9870
   2. 查看HDFS上存储的数据信息

5. Web端查看Yarn的ResourceManager

   1. 浏览器中输入http://hadoop103:8088
   2. 查看Yarn上运行的job信息

6. 测试集群是否正常

 hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

3.2.6 配置历史服务器

为了查看程序的历史运行情况,需要配置一下历史服务器,具体配置 步骤如下:

1. 配置mapred-site.xml

   <!-- 历史服务器端地址 -->
   <property>
     <name>mapreduce.jobhistory.address</name>
     <value>hadoop102:10020</value>
   </property>
   <!-- 历史服务器 web 端地址 -->
   <property>
     <name>mapreduce.jobhistory.webapp.address</name>
     <value>hadoop102:19888</value>
   </property>
   

2. 分发配置

   xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml
   

3. 在hadoop102上启动历史服务器

    mapred --daemon start historyserver
   

4. jps查看历史服务器是否正常启动

5. 查看JobHistory

   http://hadoop102:19888/jobhistory
   

3.2.7 配置日志的聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到 HDFS 系统上。

注意,开启日志聚集功能以后,需要重新启动NodeManager ResourceManager和HistoryServer

步骤:

1. 配置yarn-site.xml

   <!-- 开启日志聚集功能 -->
   <property>
     <name>yarn.log-aggregation-enable</name>
     <value>true</value>
   </property>
   <!-- 设置日志聚集服务器地址 -->
   <property> 
     <name>yarn.log.server.url</name> 
     <value>http://hadoop102:19888/jobhistory/logs</value>
   </property>
   <!-- 设置日志保留时间为 7 天 -->
   <property>
     <name>yarn.log-aggregation.retain-seconds</name>
     <value>604800</value>
   </property>
   

2. 分发配置

    xsync $HADOOP_HOME/etc/hadoop/yarnsite.xml
   

3. 关闭NodeManager, ResourceManager和HistoryServer

   sbin/stop-yarn.sh
   

   mapred --daemon stop historyserver
   

4. 启动NodeManager,ResourceManager和HistoryServer

   start-yarn.sh
   

   mapred --daemon start historyserver
   

5. 删除HDFS上已经存在的输入文件

   hadoop fs -rm -r /output
   

6. 执行wordcout程序

    hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output
   

可能出现异常，解决方式
https://blog.csdn.net/hs_shengxiaguangnian/article/details/117375466

7. 查看日志

   1. 历史服务器地址

      http://hadoop102:19888/jobhistory
      

3.2.8 集群启动/停止方式总结

1. 各个模块分开启动****/**停止（配置 ssh **是前提）**常用

   1. 整体启动/停止 HDFS

      start-dfs.sh/stop-dfs.sh
      

   2. 整体启动/停止 YARN

      start-yarn.sh/stop-yarn.sh
      

2. 各个服务组件逐一启动****/**停止

   1. 分别启动/停止 HDFS 组件

      hdfs --daemon start/stop namenode/datanode/secondarynamenode
      

   2. 启动/停止 YARN

      yarn --daemon start/stop resourcemanager/nodemanager
      

3.2.9 Hadoop集群常用脚本

1. Hadoop 集群启停脚本（包含 HDFS**，Yarn，Historyserver）：**myhadoop.sh

   cd /home/admin/bin
   vim myhadoop.sh
   

   #!/bin/bash
   if [ $# -lt 1 ]
     then
     	echo "No Args Input..."
     exit ;
   fi
   case $1 
   in "start")
     echo " =================== 启动 hadoop 集群 ==================="
     echo " --------------- 启动 hdfs ---------------"
     ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
     echo " --------------- 启动 yarn ---------------"
     ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
     echo " --------------- 启动 historyserver ---------------"
     ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start 
     historyserver"
   ;;
   "stop")
     echo " =================== 关闭 hadoop 集群 ==================="
     echo " --------------- 关闭 historyserver ---------------"
     ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop 
     historyserver"
     echo " --------------- 关闭 yarn ---------------"
     ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
     echo " --------------- 关闭 hdfs ---------------"
     ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
     ;;
   *)
   echo "Input Args Error..."
   ;;
   esac
   

   设置权限

    chmod +x myhadoop.sh
   

2. 查看三台服务器 Java **进程脚本：**jpsall

   vim jpsall
   

   #!/bin/bash
   for host in hadoop102 hadoop103 hadoop104
   do
       echo =============== $host ===============
       ssh $host jps 
   done
   

    chmod +x jpsall
   

   分发脚本

    xsync /home/atguigu/bin/