Hadoop安装教程_单机

先安装ssh

ps -aux|grep ssh先查看有没有ssh进程。
查看ssh进程
发现只匹配到了grep ssh进程,也就是说,现在系统里面并没有与ssh相关的进程。
这时我们使用sudo apt install openssh-server命令来安装ssh
安装ssh
然后,等待安装完成。
安装完成
安装完成以后,我们先来测试一下能不能连到本机。
ssh到本机
如上图,红框1是ssh首次登录提示。
红框2是提示输入ssh目标机器的密码。
密码验证通过后就登录成功了。

这样,输入密码我们就可以登录到目标机器了。
但是,为了更简便,我们还可以配置无密码登录,也就是将本机的公钥加到目标机器的授权文件中。
本机的公钥在~/.ssh中,上传到目标机器的.ssh/authorized_keys
本机的私钥和公钥可以通过ssh-keygen -t rsa来生成,出现提示一路回车即可。
生成密钥
从上图可以看到,我们已经成功生成了id_rsa私钥文件和id_rsa.pub公钥文件。
因为此时我们要测试的目标机器就是本机,所以我们需要将本机的公钥文件放到本机的authorized_keys授权文件中,但从上图来看,并没有这个文件,这是因为我们还没有用过这个文件,所以还没有生成,我们手动生成一个就行。
我们使用cat id_rsa.pub >> authorized_keys命令来将本机公钥id_rsa.pub的内容追加到本机授权文件authorezed_keys中。
追加授权文件
从上图可以看出,本机的授权文件和本机公钥文件是一样大小的,因为此时我们的授权文件中只有自己的公钥。而如果其他机器想要无密码登录到本机,则将其公钥追加到本机的授权文件中即可。注意,是追加,不是覆盖。如果覆盖掉了其他机器的公钥,其他机器将不能再登录到本机。
此时,我们测试一下无密码登录是否可用。
无密码登录
从上图可以看到,我们使用ssh命令登录,系统不再要求我们提供密码。这是因为我们机器的公钥已经在目标机器(这里还是本机)的授权文件中了。

安装Java环境

这里我们使用sudo apt intall default-jre default-jdk命令来安装Java环境
安装Java环境
等待安装完成。
安装完成
这时我们使用vi ~/.bashrc来配置JAVA_HOME环境变量
配置变量
然后,在第一行加上export JAVA_HOME=/usr/lib/jvm/default-java
配置Java变量
然后使用source ~./bashrc使命令立即生效
使变量生效
最后使用java -version查看是否安装成功
如上图,JAVA环境已经配置成功。

安装hadoop

我们可以先在宿主机下载好hadoop文件,然后拷贝虚拟机共享文件夹。或者直接用wget在线获取文件。
这里我们使用第一种方法。
解压
等待安装完成
安装完成
进入/usr/local并将hadoop-3.2.1更名为hadoop
更名
更改文件权限,并查看版本信息
查看版本信息
咦?发现报错了。提示JAVA_HOME的路径不存在
待续
2019年10月25日续
续上
就这一个路径问题,我尝试了很多次都没有成功,怎么改都不行。
后来,我尝试了使用2.7.7版本的hadoop重新安装,成功了。
在此之前我使用的是最新的3.x版本,可能是因为新版的某些设置一些不一样吧。
在尝试过程中,我发现使用wget从官网直接获取hadoop.x.tar.gz总是失败然后我在宿主机把hadoop-2.7.7.tar.gz复制到共享文件夹。这个时候发现居然在虚拟机中看不到共享文件夹了,这时我已经安装过VMware Tools。我再次执行 sudo vmware-config-tools.pl之后重启解决
成功安装hadoop
hadoop文档中附带了一些供我们测试的例子,我们可以先运行WordCount的例子来检测一下hadoop是否安装成功。
首先我们在hadoop目录下新建input文件夹cd /usr/local/hadoop;mkdir input
然后将/etc/hadoop下的配置文件拷贝至input文件夹中。然后执行代码 ./bin/hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output ‘dfs[a-z.]+’

大数据程序
最后输出结果
结果
至此,安装结束。

发布了51 篇原创文章 · 获赞 8 · 访问量 3247

猜你喜欢

转载自blog.csdn.net/qq_21516633/article/details/102626580