MapReduce分布式离线计算框架的搭建

版权声明：该版权归博主个人所有,在非商用的前提下可自由使用,转载请注明出处. https://blog.csdn.net/qq_24696571/article/details/85872411

基于hadoop2.x的搭建
启动集群
关闭集群

• 规划

• 关闭所有防火墙
  service iptables stop
• 配置mapred-site.xml文件

1. 进入自己的hadoop安装包解压文件夹中的etc/hadoop文件夹:cd /home/hadoop-2.6.5/etc/hadoop
2. 将mapred-site.xml.template模板文件更名为mapred-site.xml:mv mapred-site.xml.template mapred-site.xml
3. 配置文件vim mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>   #意思是框架的名称
        <value>yarn</value>   #mapreduce运行在yran之上
    </property>
</configuration>

• 配置yarn-site.xml

1. 进入自己的hadoop安装包解压文件夹中的etc/hadoop文件夹:cd /home/hadoop-2.6.5/etc/hadoop
2. 打开文件(和mapred-site.xml同一目录)vim yarn-site.xml

<property>
	<name>yarn.nodemanager.aux-services</name><!--工作的节点-->
	<value>mapreduce_shuffle</value>
</property>
<property>
   <name>yarn.resourcemanager.ha.enabled</name><!--ha高可用是否开启-->
   <value>true</value>
 </property>
 <property>
   <name>yarn.resourcemanager.cluster-id</name><!--开启之后设置yarn集群的名字-->
   <value>mr_Credi</value><!--随便设置-->
 </property>
 <property>
   <name>yarn.resourcemanager.ha.rm-ids</name><!--高可用ResourceManager的节点-->
   <value>rm1,rm2</value><!--规划作为ResourceManager(RM)的服务器,取的配置别名,下面的配置要与这里相同-->
 </property>
 <property>
   <name>yarn.resourcemanager.hostname.rm1</name><!--取的配置别名,与上同-->
   <value>node02</value><!--将别名指向自己规划作为RM的服务器的ip地址别名node02-->
 </property>
 <property>
   <name>yarn.resourcemanager.hostname.rm2</name><!--取的配置别名,与上同-->
   <value>node03</value><!--将别名指向自己规划作为RM的服务器的ip地址别名node03-->
 </property>
 <property>
   <name>yarn.resourcemanager.zk-address</name><!--RM通过zookeeper(ZK)实现,-->
   <value>node01:2181,node02:2181,node03:2181</value><!--填写规划作为ZK的服务器ip地址别名-->
 </property>

• 将/home/hadoop-2.6.5/etc/hadoop/下的mapred-site.xml文件和yarn-site.xml文件发送给其他规划为hadoop集群中的服务器的同等路径下

scp -r mapred-site.xml node02:/home/hadoop-2.6.5/etc/hadoop/
scp -r mapred-site.xml node03:/home/hadoop-2.6.5/etc/hadoop/
scp -r yarn-site.xml node02:/home/hadoop-2.6.5/etc/hadoop/
scp -r yarn-site.xml node03:/home/hadoop-2.6.5/etc/hadoop/

• 启动集群

• 关闭所有防火墙service iptables stop
• 启动所有的zookeeper服务器(ZK)zkServer.sh start,
  jps命令可以查看进程:QuorumPeerMain
  zkServer.sh status查看状态
• 全面启动start-all.sh
• 规划作为RM服务器的节点启动ResourceManeger:yarn-daemon.sh start resourcemanager

• 关闭集群

• 关闭所有的zookeeper服务器(ZK)zkServer.sh stop,
• 全面关闭stop-all.sh
• 规划作为RM服务器的节点关闭ResourceManeger:yarn-daemon.sh stop resourcemanager