【hadoop学习笔记】----hadoop伪分布式环境配置

Hadoop2.6.0 伪分布式设置

准备：首先将JDK（jdk1.8.0_121）和Hadoop（hadoop-2.6.0）安装包上传到虚拟机的linux系统

系统环境：虚拟机IP 192.168.207.55(自己配置虚拟机NAT模式的IP)

linux用户：

root/password，hadoop/password

主机名：hadoop

将防火墙关闭，使用root执行：service iptables stop

安装JDK

1、（hadoop用户）的soft文件夹下，将JDK解压，tar -zxvf jdk-8u121-linux-x64.tar，完成后，会有一个jdk1.8.0_121目录；

2、配置环境变量，（切换到root用户下，su root 输入密码）修改/etc/profile文件，在最后添加JAVA_HOME=/home/hadoop/soft/jdk1.8.0_121
export PATH=$PATH:$JAVA_HOME/bin

扫描二维码关注公众号，回复： 3443341 查看本文章

注：linux命令行下文件的编辑，使用(vi 文件名)打开文件；输入（i）进入编辑模式；按下esc键退出编辑模式；输入(:)后再输入（q）退出不保存，（wq）保存后退出，输入（q!）强制退出；

3、使修改的环境变量生效（hadoop用户），执行source /etc/profile

安装Hadoop

1、（hadoop用户）soft文件夹下，解压hadoop安装包hadoop-2.6.0.tar，完成后生成一个hadoop-2.6.0目录；

2、（hadoop用户）修改配置文件/home/hadoop/soft/hadoop-2.6.0/etc/hadoop/hadoop-env.sh添加export JAVA_HOME=/home/hadoop/soft/jdk1.8.0_121

3、（hadoop用户）修改配置文件hadoop-2.6.0/etc/hadoop/core-site.xml，添加

<configuration>
<property>
        <name>fs.defaultFS</name>
                <value>hdfs://hadoop:9000</value>
                </property>

</configuration>

4、（hadoop用户）修改配置文件hadoop-2.6.0/etc/hadoop/hdfs-site.xml，添加

<configuration>
<property>
        <name>dfs.replication</name>
                <value>1</value>        
</property>
</configuration>

5、（hadoop用户）修改配置文件hadoop-2.6.0/etc/hadoop/mapred-site.xml，这个文件没有需要复制一份，执行命令（cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml）后打开添加

<configuration>
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
 </property>
</configuration>

6、（hadoop用户）修改配置文件hadoop-2.6.0/etc/hadoop/yarn-site.xml，添加

<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>
</configuration>

7、（root用户）修改主机名称，重启生效；执行命令（vi /etc/sysconfig/network），修改HOSTNAME主机名为hadoop；

8、（root用户）修改/etc/hosts文件，添加ip 主机名称（192.168.207.25 hadoop）

9、（hadoop用户）格式化HDFS，在hadoop解压目录下，执行命令：(bin/hdfs namenode -format)；注：格式化只能操作一次，如果因为某种原因，集群不能使用，需要再次格式化，此时需要将上一次格式化的信息删除，即在/tmp目录下执行命令（rm -rf*）

10、（hadoop用户）在hadoop解压目录下，输入命令（sbin/start-all.sh）启动集群（含所有进程），此时需要输入四次当前用户的密码（配置SSH互信），启动成功后，使用jps查看进程，应该显示有六个进程，

[hadoop@hadoop hadoop-2.6.0]$ jps

32033 Jps

31718 SecondaryNameNode

31528 DataNode

31852 ResourceManager

31437 NameNode

31949 NodeManager

11、（hadoop用户）关闭集群，执行命令（sbin/stop-all.sh）

【hadoop学习笔记】----hadoop伪分布式环境配置

猜你喜欢