三、hadoop笔记

集群节点

namenode 主节点

datanode 从节点

resourcemanager yarn的主节点

nodemanager yarn的从节点

集群搭建

使用三台机器

shizhan01 NameNode ResourceManager

shizhan02 DataNode NodeManager

shizhan02 DataNode NodeManager

1、上传hadoop的压缩包到shizhan01，解压

tar -zxvf cenos-6.5-hadoop-2.6.4.tar.gz -C apps/

2、进入 cd ~/apps/hadoop-2.6.4/etc/hadoop/ 修改配置

扫描二维码关注公众号，回复： 9255295 查看本文章

3、找到JAVA_HOME(echo $JAVA_HOME) 修改 vi hadoop-env.sh 配置JAVA_HOME

export JAVA_HOME=/root/apps/jdk1.7.0_45

4、修改vi core-site.xml 配置，新增

  <property>
        <name>fs.defaultFS</name>
        <value>hdfs://shizhan01:9000</value>
   </property>
  <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/root/hadoopdata</value>
  </property>

5、修改vi hdfs-site.xml 配置，新增

<property>
	<name>dfs.replication</name>
	<value>3</value>
</property>

6、修改vi mapred-site.xml 配置，新增

<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>

7、修改vi yarn-site.xml 配置，新增

<!-- 指定YARN的老大（ResourceManager）的地址 -->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>shizhan01</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>

8、分发到shizhan02和shizhan03上

scp -r ~/apps/hadoop-2.6.4  root@shizhan02:/root/apps/
scp -r ~/apps/hadoop-2.6.4  root@shizhan03:/root/apps/

9、配置hadoop的环境变量,vi /etc/profile

export HADOOP_HOME=/root/apps/hadoop-2.6.4
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

将配置复制到另外两台机器

scp /etc/profile shizhan02:/etc/
scp /etc/profile shizhan03:/etc/

三台机器分别 ： source /etc/profile

10、格式化namenode

hadoop namenode -format

11、进入/root/apps/hadoop-2.6.4/etc/hadoop 修改vi slaves，加入集群从节点

shizhan02
shizhan03

12、单节点启动

在shizhan01上：
hadoop-daemon.sh start namenode
在shizhan02和shizhan03上：
hadoop-daemon.sh start datanode

在shizhan01上：
yarn-daemon.sh start resourcemanager
在shizhan02和shizhan03上：
yarn-daemon.sh start nodemanager


停用（stop）
hadoop-daemon.sh stop namenode

13、脚本启动集群

 start-dfs.sh
 start-yarn.sh
 或者

 start-all.sh


停用（stop）
stop-all.sh

访问：http://shizhan01:50070/ 查看集群节点状况