centos Hadoop 完全分布式 搭建

centos  Hadoop 完全分布式 搭建

hadoop 主要配置：

hadoop-env.sh      yarn-env.sh

core-site.xml        hdfs-site.xml         yarn-site.xml        mapre-site.xml       

hadoop-env.sh :

yarn-env.sh:

core-site.xml :

<configuration>
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
</property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>file:/simple/hadoop-2.6.0/tmp</value>
</property>
</configuration>

hdfs-site.xml: 

<configuration>
<property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/simple/hadoop-2.6.0/tmp/dfs/name</value>
</property>
<property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/simple/hadoop-2.6.0/tmp/dfs/data</value>
</property>
</configuration>

yarn-site.xml:

<configuration>
<property>
    <name>yarn.resourcemanager.address</name>
    <value>master:8032</value>
</property>
<!-- ResourceManager 对ApplicationMaster暴露的访问地址。ApplicationMaster通过该地址向RM>申请资源、释放资源等 -->
<property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>master:8030</value>
</property>
<!-- ResourceManager 对NodeManager暴露的地址.。NodeManager通过该地址向RM汇报心跳，领取任
务等 -->
<property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>master:8031</value>
</property>
<!-- 对管理员暴露的访问地址。管理员通过该地址向RM发送管理命令等 -->
<property>
    <name>yarn.resourcemanager.admin.address</name>
    <value>master:8033</value>
</property>
<!-- ResourceManager对外web ui地址。用户可通过该地址在浏览器中查看集群各类信息 -->
<property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>master:8088</value>
</property>
<!-- NodeManager上运行的附属服务。需配置成mapreduce_shuffle，才可运行MapReduce程序 -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
</configuration>

mapres-site.xml:

<configuration>
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>
<property>
        <name>mapreduce.jobhistory.address</name>
        <value>master:10020</value>
</property>
<property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>master:19888</value>
</property>
</configuration>

配置完成后 分发给其他两个从节点

master 修改slaves：添加节点信息

配置完之后设置环境变量 再分别给从节点配置环境变量

在source  /etc/profile

格式化集群

启动集群：