最近听大数据说得比较多,也是有些好奇,于是看了一些大数据的相关视频讲解,用了业余时间配置了Hadoop的环境,也走了不少弯路,现在在这做一个总结,希望能为后来配置环境的一个借鉴。
首先,要准备安装需要的工具,列出如下:
1.VM ware虚拟机
2.Linux系统镜像:centos7.0
3.Linux下的jdk包
4.Hadoop包
5.secureCRT
6.WinSCP
之后的步骤为:
1.安装虚拟机,安装centos7.0虚拟系统,这些网上一抓一大把,在此不做过多介绍。
2.安装WinSCP,这个是用来和Linux系统进行文件传输的软件。
3.安装SecureCRT,这个是用来远程操作Linux系统的软件
以上三步基本都是在windows下,基本都是点击next即可。
然后在VMware中修改一下虚拟机的网络适配器为自定义,选择VMnet0即可。
在Linux系统中点击右键,找到”Open Terminal”,点击进入
输入ifconfig
回车,该命令可获得设备网络信息。获得IP地址,在主机中ping 该IP,查看是否连通。
若连通,则在winSCP中输入Linux的ip和“用户名”、“密码”即可。
然后直接将下载好的jdk和Hadoop安装包拖入winSCP右方Linux的“tmp”文件夹下即可。
(前面这些内容是基础,最容易出错的地方也就是网络连通一块,我在没将网络适配器更改为”vmnet0“的时候也是连不通的,在更改之后就可以了,而且可能会出现多个ip,我选择第一个为准,好像别的也连不通)。之后该正式在Linux中进行操作了,在这我用SecureCRT进行操作,这个跟在Linux终端下操作是一样的。SecureCRT的使用跟WinSCP类似,也是输入ip、“用户名”和“密码”即可。
然后就可以看到命令行操作界面了。
重头戏来了
1.安装JDK
(1)卸载自带JDK
Linux本身是自带JDK的,不过是OpenJDK,和我们平时使用的不太一样,我们可以先卸载它。
卸载的方法如下:
输入rpm -qa|grep java
之后会罗列出来几个JDK文件夹,然后对各个文件夹逐个删除
删除的命令行为:
rpm -e --nodep xxx文件夹(刚才已经找到的那些文件夹)
删除之后可以再次通过rpm -qa|grep java
或者java -version
验证是否已经删除
(2)安装JDK
然后就是安装了,先打开JDK所在目录:
输入cd /tmp
回车
输入ls
回车,会显示出当前目录下文件和目录
解压JDK包,不同的文件包对应不同命令
若tar.gz,则执行tar -zxf xxx.tar.gz
若rpm ,则指定 rpm -ivh xxx.rpm
解压之后就代表已经将JDK安装了,可以在/usr/java中看到
(3)配置环境变量
Linux中也要配置环境变量
首先,要打开环境配置的文件
输入vi /etc/profile
回车
这会进入/etc/profile的编辑页面,多数情况会让选择操作,选择(E)dit 回车即可。
进入之后是一个vim编辑器界面,vim编辑器默认进入是命令模式
单击“i”键即可进入“insert模式”,该模式下可编辑内容
在该文件最后输入以下内容
export JAVA_HOME=/usr/java/jdk1.8.0_121
export PATH=.:$JAVA_HOME/bin:$PATH
第一个参数即为JAVA_HOME,第二个为PATH环境变量。
注意:$之前是“.”和“:”,在Linux中是用“:”对各个环境变量进行分割的,这一点和windows是不同的,windows下是用“;”,这一点需要注意。
之后点击键盘上的“Esc”键,进入命令模式
输入:wq回车,这条命令的含义是保存并退出vim编辑器
然后就重新回到了Terminal中
输入source /etc/profile
回车,该命令作用是使环境变量生效
至此,JDK安装完成,可以通过java -version验证是否安装成功
2安装Hadoop
Hadoop的安装跟JDK安装步骤类似,不过官方建议将Hadoop安装在/usr/local文件夹下,所以可以执行一下移动操作
输入cd /tmp
回车打开tmp文件夹
输入ls
回车列出文件和文件夹
输入 mv xxx.tar.gz /usr/local
回车(注意中间空格)
输入 cd /usr/local
回车
输入 ls
回车可以看到已经移动到了/usr/local目录下
之后解压,和JDK解压命令相同,不做重复
解压之后更改文件夹名称为hadoop方便使用
如:现在文件夹名称为hadoop-2.6.5
输入 mv hadoop-2.6.5 hadoop
即可(同样注意空格)
设置环境变量
这次设置环境变量和之前设置jdk一样,只需要新建一个HADOOP_HOME即可
更改变量为:
export JAVA_HOME=/usr/java/jdk1.8.0_121
export HADOOP_HOME=/usr/local/hadoop
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
这样,在Terminal中输入hadoop version看到hadoop版本即为hadoop安装成功。