Hadoop单节点搭建步骤

简介:

  • 单节点即默认模式。所谓默认模式,就是安装完jdkhadoop,配置好相应的环境,即本地模式配置完成。 所有程序都在单个JVM上执行。
  • 使用本地文件系统,而不是分布式文件系统。
  • 无需运行任何守护进程(daemon,hadoop不会启动NameNodeDataNode等守护进程,Map()Reduce()任务作为同一个进程的不同部分来执行的。

注意:命令前边有$符号则说明需要用普通用户,有#说明需要用root用户。

准备工作:

1、首先安装Linux操作系统。

2、新建一个普通用户(后序步骤可以使用普通用户完成的不要使用root用户。)

3、要准备Hadoop以及Jdk的安装包。

下载地址分别为(请点击超链接):Hadoop     Jdk

-------------------------------------------为了方便我下载了远程连接工具。Mobaxterm。

4、我在/home/betty下创建了soft文件夹,用来存放一些软件,以及软件的安装包。

$ mkdir soft

一、安装Java

1、首先要查看系统是否有自带java,如果有,请先卸载。

查看是否有其他版本Java: $ rpm -qa | grep java

卸载其他版本(需要使用root用户删除):# rpm -e --nodeps javaxxxxxxx

2、将压缩包解压到当前目录下。注意一定要使用普通用户!

$ tar -zxvf /home/betty/soft/jdk-8u162-linux-x64.tar.gz

3、创建软连接。目的是为了方便以后更换jdk版本时,不需要修改环境变量。

$ ln -s /home/betty/soft/jdk1.8.0_162 /home/betty/soft/jdk

4、删除安装包。

$ rm /home/betty/soft/jdk-8u162-linux-x64.tar.gz

5、配置环境变量。

配置环境变量有三种文件可修改(/etc/profile(需要使用root用户)   ~/.bash_profile   ~/.bashrc),在这里,我选择了~/.bashrc。

$ vi ~/.bashrc

【JAVA_HOME=/home/betty/soft/jdk
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME PATH】

6、使配置文件生效。

重启机器

# reboot

或者也可以使用命令

$ source ~/.bashrc(如果更改的是/etc/profile文件,则需要使用root用户来执行source /etc/profile

7、测试

$ java -version 回车

$ javac 回车

出现信息翻滚,即配置成功。

二、安装Hadoop

1、上传压缩包并进行解压(一定要使用普通用户)

$ tar -zxvf hadoop-2.7.3.tar.gz

2、创建软连接

$ ln -s /home/betty/soft/hadoop-2.7.3 /home/betty/soft/hadoop

3、删除安装包

$ rm /home/betty/soft/hadoop-2.7.3.tar.gz
4、配置环境变量

$ vim ~/.bashrc

【JAVA_HOME=/home/betty/soft/jdk
HADOOP_HOME=/home/betty/soft/hadoop
PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME PATH

加上之前配置的JAVA环境变量,就变成了这样。

5、使配置文件生效。

重启机器

# reboot

或者也可以使用命令

$ source ~/.bashrc(如果更改的是/etc/profile文件,则需要使用root用户来执行source ~/.bashrc)

6、测试

$ hdfs -version

7、测试mr圆周率

hadoop jar /home/betty/soft/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar pi 10 100000

如果失败则需要配置:/etc/hosts

# /etc/hosts

添加内容【192.168.85.141 dog1】

8、单节点模式配置成功。

猜你喜欢

转载自blog.csdn.net/Betty_betty_betty/article/details/84189427