配置Hadoop分布式集群二（亲测）

####配置hdfs-site.xml

<configuration>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>nn1:50090</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/lihao/hdfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/home/lihao/hdfs/data</value>
    </property> 
</configuration>

其中，dfs.namenode.secondary.http-address是二级namenode节点，在网上看到说实验室可以这么设置，但在实际应用中该值应该设立一个不同的namenode主机地址。
dfs.replication 数据的备份数，默认是三个备份。
dfs.namenode.name.dir和dfs.datanode.data.dir，用于确定将HDFS文件系统的元信息保存在什么目录下和这个参数用于确定将HDFS文件系统的数据保存在什么目录下。
####配置mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>nn1:10020</value>
        <description>MapReduce JobHistory Server IPC host:port</description>
    </property>
    <property>
        <name>mapred.job.tracker</name>
        <value>nn1:9001</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>nn2:19888</value>
        <description>MapReduce JobHistory Server Web UI host:port</description>
    </property>
</configuration>

mapred.job.tracker 必须在所有master及slave上的conf/mapred-site.xml中设置此项。并且因为Hadoop架构是主master模式，所以在一个集群中的所有master及slave上设置的mapred.job.tracker的值应该是唯一一个JobTracker 主服务器的地址。
mapreduce.framework.name mapreduce.jobhistory.address mapreduce.jobhistory.webapp.address 都是yarn运行mapreduce程序所用的，后续再学习。
####配置yarn-site.xml

        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>nn1</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>

为了使用yarn的配置，目前不懂。。。。

####配置slaves
vi slaves
增加：
dn1
dn2
保存。
vi masters 这个版本里面没有，自己创建一个添加 nn1
###(5)配置好的hadoop目录发送到其他的节点上

scp -r ~/hadoop/ dn1:~
scp -r ~/hadoop/ dn1:~

最后必须在每个节点上的 /etc/profile中配置好hadoop的安装路径并加到PATH中。

vi /etc/profile
export HADOOP_INSTALL=/home/lihao/hadoop
export PATH=$JAVA_HOME/bin:$HADOOP_INSTALL/bin:$PATH
source /etc/profile

###(6)格式化节点并开启服务

hadoop namenode -format
start-all.sh
完成之后对每个节点处输入jps查看节点状态
nn1:
[lihao@nn1 sbin]$ jps
15287 ResourceManager
14938 NameNode
15546 Jps
15131 SecondaryNameNode
[lihao@nn1 sbin]$ 
dn1:
[lihao@dn1 ~]$ jps
13651 Jps
13529 NodeManager
13421 DataNode
[lihao@dn1 ~]$
dn2:
[lihao@dn2 ~]$ jps
13411 DataNode
13641 Jps
13519 NodeManager
[lihao@dn2 ~]$

配置Hadoop分布式集群二（亲测）

猜你喜欢