【Hadoop学习】_03Hadoop运行模式

一、本地运行模式

​ 参考：http://dblab.xmu.edu.cn/blog/install-hadoop/

二、伪分布运行模式

​ 参考：http://dblab.xmu.edu.cn/blog/install-hadoop/

三、完全分布式运行模式

1. 准备3台客户机（关闭防火墙、设置静态IP、设置主机名称）

2. 安装JDK并配置环境变量

3. 安装Hadoop并配置环境变量

4. 配置集群文件

   • 核心配置文件core-site.xml

   <!-- 指定HDFS中NameNode的地址 -->
   <property>
   		<name>fs.defaultFS</name>
         <value>hdfs://hadoop102:9000</value>
   </property>
   
   <!-- 指定Hadoop运行时产生文件的存储目录 -->
   <property>
   		<name>hadoop.tmp.dir</name>
   		<value>/opt/module/hadoop-2.7.2/data/tmp</value>
   </property>
   
   

   • 配置hdfs-site.xml，写入JAVA_HOME路径
   • 配置hdfs-site.xml

   <property>
   		<name>dfs.replication</name>
   		<value>3</value>
   </property>
   
   <!-- 指定Hadoop辅助名称节点主机配置 -->
   <property>
         <name>dfs.namenode.secondary.http-address</name>
         <value>hadoop104:50090</value>
   </property>
   

   • 配置yarn-env.sh，写入JAVA_HOME路径
   • 配置yarn-site.xml

   <!-- Reducer获取数据的方式 -->
   <property>
   		<name>yarn.nodemanager.aux-services</name>
   		<value>mapreduce_shuffle</value>
   </property>
   
   <!-- 指定YARN的ResourceManager的地址 -->
   <property>
   		<name>yarn.resourcemanager.hostname</name>
   		<value>hadoop103</value>
   </property>
   

   • 配置mapred-env.sh，写入JAVA_HOME路径
   • 配置mapred-sit.xml

   <!-- 指定MR运行在Yarn上 -->
   <property>
   		<name>mapreduce.framework.name</name>
   		<value>yarn</value>
   </property>
   
   

5. 设置单点启动

   • 集群第一次启动需要格式化NameNode

   hadoop namenode -format
   

6. 配置ssh

7. 群起并测试集群