Hadoop 伪分布搭建流程

首先需要通过官网下载jdk和hadoop软件(baidu下载即可)

1.将jdk和hadoop上传到你所使用的虚拟机的用户下（putty 或 XShell 均可）

要养成好习惯，创建不同文件夹存放不同软件，方便查找。

注：不要将这些东西放在root用户下，因为root的最高权限，如果在root下操作，其他用户会涉及到权限问题。

2 . 解压相关软件

       $>tar -zxvf jdk1.8.XXX.tar.gz
      $>tar -zxvf hadoop.2.7.3.tar.gz

3 . 创建软连接

创建软连接的目的：更换或更新其他版本的jdk或者hadoop时，只需要将这个软连接指向新的路径即可，免去了修改更多环境变量的繁琐情况。(我提前将目录名改成了jdk 和 hadoop)

      $>ln -s jdk.soft/ jdk
      $>ln -s hadoop.soft/ hadoop

4 . 修改环境变量

修改 .bash_profile 文件

在文件最后追加：

         #jdk install
	 export JAVA_HOME=/home/用户名/soft/jdk.soft
	 export PATH=$JAVA_HOME/bin:$PATH

	 #hadoop install
	 export HADOOP_HOME=/home/用户名/soft/hadoop.soft
	 export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

运行

使文件执行。此步操作之后建议reboot。

5 . 配置 SSH 无密登录

      source .bash_profile

(a).修改hostname

      $>su root
      $>vim /etc/sysconfig/network

添加【HOSTNAME=master】

(b).修改hosts文件

     $>gedit /etc/hosts

【在文件后追加：ip 主机名：192.168.142.138 master】

(d).生成秘钥

$>ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

【说明:-t设置生成秘钥的算法，采用的rsa；-P设置密码，默认为空；-f设置秘钥生成的文件位置，~/.ssh】

(e).生成认证库

 $>cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

【将公钥放入authorized_keys中】

(f).修改认证库的权限为600

$>chmod 600 ~/.ssh/authorized_keys

(g) . ssh master

恭喜，无密登录配置成功！

6 . 配置hadoop

(a).找到hadoop的配置路径：cd $HADOOP_HOME/etc/hadoop

//因为环境变量中已经配置好了HADOOP_HOME的路径，直接用即可

(b).修改core-site.xml

         <property>
		<name>fs.defaultFS</name>
		<value>hdfs://localhost:9000</value>
	 </property>

在 configuration 中添加

(c).修改hdfs-site.xml

        <property>
		<name>dfs.replication</name>
		<value>1</value>
        </property>

(d).修改hadoop-env.sh中的JAVA_HOME变量

      export JAVA_HOME=/home/hyxy/soft/jdk

(e).格式化HDFS

       $>hdfs namenode -format

(f).开启hadoop守护进程

      $>start-dfs.sh    //开启HDFS

7 . 检查登陆状态

    $>jps

若果显示的内容包括( namenode 、datanode 、secondary 、jps)

那么恭喜你，配置成功！

Hadoop 伪分布搭建流程

猜你喜欢