Hadoop学习---Hadoop集群搭建

一、安装环境及软件版本

　　1、操作系统centos 6.7 64位

　　2、配置好服务器的免密码登陆（ssh）

　　3、安装好jdk,我安装的是jdk-7u80-linux-x64.tar.gz。

　　4、Hadoop集群角色分配：

　　　　HDFS集群:　　

　　　　hdp01 ： DataNode　　NameNode　　SecondaryNameNode

　　　　hdp02 ： DataNode

　　　　hdp03 ： DataNode

　　　　YRAN集群:

　　　　hdp01 : NodeManager　　ResourceManager

　　　　hdp02 : NodeManager

　　　　hdp03 : NodeManager

二、集群安装过程

　　第一步：创建安装目录，上传安装包，解压安装包，解压好的Hadoop目录如下：

　　第二步：修改配置文件

　　1、修改$HADOOP_HOME/etc/hadoop/下的hadoop-env.sh，添加Java环境变量。

# The java implementation to use.
export JAVA_HOME=/usr/local/jdk1.7.0_45

　　 2、目录同下，core-site.xml，配置内容如下：

<configuration>

  <property>
     <name>fs.defaultFS</name>
     <value>hdfs://hdp01:9000</value>
</property>

  <property>
     <name>hadoop.tmp.dir</name>
     <value>/root/apps/hadoop-2.6.5/tmp</value>
</property>

</configuration>

　　3、目录同下，hdfs-site.xml，配置内容如下：

<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/home/hadoop/data/name/</value>
    </property>

    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/home/hadoop/data/data/</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.secondary.http.address</name>
        <value>hdp01:50090</value>
    </property>
</configuration>

　　4、目录同下，mapred-site.xml，配置内容如下：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

　　5、目录同下，yarn-site.xml，配置内容如下：

<configuration>

<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hdp01</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

</configuration>

　　6、目录同下，salves，配置内容如下：

hdp01
hdp02
hdp03

　　第三步：将配置好的Hadoop分发到其他2台服务器。

scp hadoop-2.6.5 -r root@hdp02:/root/apps/
scp hadoop-2.6.5 -r root@hdp03:/root/apps/

　　第四步、启动集群，测试集群是否部署

　　1、初始化HDFS

bin/hadoop namenode -format

　　2、启动HDFS

sbin/start-dfs.sh

　　3、启动YARN

sbin/start-yarn.sh

　　4、查看是否启动成功，jps命令显示，进程都启动成功了

Hadoop学习---Hadoop集群搭建

猜你喜欢