Hadoop伪分布式集群搭建过程

搭建环境：

Hadoop2.7.3     jdk1.8.0_162     LinuxCentOS6.5Desktop

安装步骤：

1、安装CentOS6.5，注意：采用自建用户【hyxy/123456】，不可以使用root

2、安装jdk1.8，创建软连接。安装路径/home/hyxy/soft，所有的安装包必须放到/home/hyxy/soft

           配置环境变量，在.bash_profile下：

export JAVA_HOME=/home/hyxy/soft/jdk.soft 
export JRE_HOME=${JAVA_HOME}/jre  
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib  
export  PATH=${JAVA_HOME}/bin:$PATH

3、安装hadoop，解压，创建软连接  官网教程

    配置core-site，hdfs-site。

etc/hadoop/core-site.xml:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

etc/hadoop/hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

4、配置无密登录

  $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
  $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  $ chmod 0600 ~/.ssh/authorized_keys

5、修改文件/etc/hosts

扫描二维码关注公众号，回复： 1033992 查看本文章

ip地址 主机名  #原有信息中添加

6、格式化文件系统

 $ bin / hdfs namenode -format

7、 启动NameNode守护进程和DataNode守护进程：

 $ sbin / start-dfs.sh

8、浏览NameNode的Web界面; 默认情况下它可用于：

NameNode - http：// localhost：50070 /