首先如果你有jdk,你就不用再装了,只要配置一下就可以了
- 1.配置jdk环境
vim ~/.bashrc #进去环境文件编辑
在文件bashrc的最后面添加一行,如下:
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk #就是你jdk路径
编辑添加完之后,保存退出
接着还需要让环境变量生效,使用如下指令: source ~/.bashrc
检测是否设置成功
java –version 会出现java version "版本号" 等 ,那就可以了
- 2.如果没有jdk,你可以去官网下载,也可以直接代码下载
在root下,可以先查看可以安装的版本:yum search java-1.7,我选择
sudo yum install java-1.7.0-openjdk java-1.7.0-openjdk-devel
通过上述命令安装 OpenJDK,默认安装位置为 /usr/lib/jvm/java1.7.0-openjdk,安装好之后就可以使用java,javac命令了
然后就是直接1步骤配置环境就可以了
更多jdk详细内容可以参考:https://blog.csdn.net/qq_41521180/article/details/88311299
- 3.现在开始搭建hadoop了
进去root状态(su root ),以root账号登录并创建接下来的hadoop新用户:
useradd -m hadoop -s /bin/bash # 创建新用户Hadoop
passwd hadoop #指定密码,输入两次
为hadoop增加管理员权限(让它跟root的权限一样)
visudo #命令进去
找到root ALL=(ALL)ALL这一行,一般在98行附近(:set nu #数字排序),然后在这一行下面 增加下面指令:
root ALL=(ALL)ALL (当中的间隔为tab)
最后通过:su hadoop,切换到hadoop用户上来
- 4.配置SSH无密码登录(如果没有这个软件,可以安装)
首先检查自己服务器 上是否已经安装好SSH client、SSH serve;
rpm -qa | grep ssh #执行该命令
这样是正确的,如果只有四条,可以安装:
sudo yum –y install +你缺少的那条数据的名字
例如:sudo yum –y install openssh-askpass #我就是缺这条,所以安装一下
安装完之后,执行如下命令测试一下 SSH 是否可用: ssh localhost
此时会有如下提示(SSH首次登陆提示),输入 yes 。然后按提示输入 hadoop用户的登录密码,这样就实现登录到本机了
执行下面的指令,如果出错可以自己手动打代码
exit # 退出刚才的 ssh localhost
• cd ~/.ssh/ # 若没有该目录,请先执行一次ssh localhost
• ssh-keygen -t rsa # 会有提示,都按回车就可以
• cat id_rsa.pub >> authorized_keys # 加入授权
• chmod 600 ./authorized_keys # 修改文件权限
- 5.安装hadoop2(单机版)
(1)通过该网址下载:http://mirror.bit.edu.cn/apache/hadoop/common/
安装第二个红圈圈那个,之前安了第一个,不成功出错下面错误:
下载了你可以直接拉到你服务器上面任何一个目录下面,但是你要知道路径
你也可以通过pwd查看hadoop的路径:
(2)解压hadoop
sudo tar -zxf ~/你的软件目录/hadoop-2.6.5.tar.gz -C /usr/local # 解压
cd /usr/local/ #进到解压目录里面
sudo mv ./hadoop-2.6.5/ ./hadoop # 将文件夹名改为hadoop
sudo chown -R hadoop:hadoop ./hadoop # 修改文件权限
cd /usr/local/hadoop #进去hadoop目录
./bin/hadoop version #检查hadoop是否可以了
出现下面图片样子就可以了:
之前我在这里也出错了,它提示你找不到jdk,
所以是你的jdk没有 或者没有配置 或者配置出错了等原因:去到jdk的配置文件下配置一下就可以了(上面有)
:在文件bashrc的最后面添加一行
若已经成功安装hadoop这个软件/项目,接下来进行单机版配置
- 6.单机版配置及测试
Hadoop 默认模式为非分布式模式,不需要进行其他任何配置即可运行。
非分布式即单 Java 进程,方便进行调试。 运行以下指令:
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar
可以看到所有例子,包括 wordcount、terasort、join、grep 等。
为此我们选择运行一个 grep 例子(查找),将 input 文件夹中的所有文件作为输入,运行如下指令:
• cd /usr/local/hadoop
• mkdir ./input #建文件
• cp ./etc/hadoop/*.xml ./input # 将配置文件作为输入文件
筛选当中符合正则表达式 dfs[a-z.]+ 的单词并统计出现的次数, 最后输出结果到 output 文件夹中:
./bin/hadoop jar ./share/hadoop/mapreduce/hadoopmapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+'
出错了就手动敲代码!!!!
查看output中的运行结果:
cat ./output/* # 查看运行结果
到这里,恭喜你! hadoop配置已经成功了!
最后:
若出现提示 “INFO metrics.MetricsUtil: Unable to obtain hostName java.net.UnknowHostException”,这需要执行如下命令修改 hosts 文件,为你的主机名增加IP映射:
• sudo vim /etc/hosts
保存文件后,重新运行 hadoop 实例
注意,Hadoop 默认不会覆盖结果文件,因此再次运行上面实例会提示出错,需要先 将./output删除: rm -r ./output
参考:https://blog.csdn.net/qq_41521180/article/details/88311299