Linux服务器装hadoop

首先如果你有jdk,你就不用再装了,只要配置一下就可以了

  • 1.配置jdk环境
vim ~/.bashrc   #进去环境文件编辑

在文件bashrc的最后面添加一行,如下: 

export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk   #就是你jdk路径

编辑添加完之后,保存退出

接着还需要让环境变量生效,使用如下指令: source ~/.bashrc


检测是否设置成功

java –version       会出现java  version  "版本号" 等 ,那就可以了

  • 2.如果没有jdk,你可以去官网下载,也可以直接代码下载

在root下,可以先查看可以安装的版本:yum search java-1.7,我选择

sudo yum install java-1.7.0-openjdk java-1.7.0-openjdk-devel 

通过上述命令安装 OpenJDK,默认安装位置为 /usr/lib/jvm/java1.7.0-openjdk,安装好之后就可以使用java,javac命令了

然后就是直接1步骤配置环境就可以了

更多jdk详细内容可以参考:https://blog.csdn.net/qq_41521180/article/details/88311299

  • 3.现在开始搭建hadoop了

进去root状态(su root ),以root账号登录并创建接下来的hadoop新用户:

useradd -m hadoop -s /bin/bash   # 创建新用户Hadoop
passwd   hadoop    #指定密码,输入两次

为hadoop增加管理员权限(让它跟root的权限一样)

visudo   #命令进去

找到root ALL=(ALL)ALL这一行,一般在98行附近(:set nu #数字排序),然后在这一行下面 增加下面指令:

root ALL=(ALL)ALL (当中的间隔为tab)

最后通过:su hadoop,切换到hadoop用户上来

  • 4.配置SSH无密码登录(如果没有这个软件,可以安装)

首先检查自己服务器 上是否已经安装好SSH client、SSH serve;

rpm -qa | grep ssh   #执行该命令

这样是正确的,如果只有四条,可以安装:

sudo yum –y install +你缺少的那条数据的名字
例如:sudo yum –y install openssh-askpass  #我就是缺这条,所以安装一下

安装完之后,执行如下命令测试一下 SSH 是否可用: ssh localhost 

此时会有如下提示(SSH首次登陆提示),输入 yes 。然后按提示输入 hadoop用户的登录密码,这样就实现登录到本机了

执行下面的指令,如果出错可以自己手动打代码

exit      # 退出刚才的 ssh localhost 
• cd ~/.ssh/     # 若没有该目录,请先执行一次ssh localhost 
• ssh-keygen -t rsa # 会有提示,都按回车就可以 
• cat id_rsa.pub >> authorized_keys # 加入授权 
• chmod 600 ./authorized_keys # 修改文件权限
  • 5.安装hadoop2(单机版)

(1)通过该网址下载:http://mirror.bit.edu.cn/apache/hadoop/common/

安装第二个红圈圈那个,之前安了第一个,不成功出错下面错误:

下载了你可以直接拉到你服务器上面任何一个目录下面,但是你要知道路径

你也可以通过pwd查看hadoop的路径:

(2)解压hadoop

sudo tar -zxf ~/你的软件目录/hadoop-2.6.5.tar.gz -C /usr/local    # 解压 

cd /usr/local/ #进到解压目录里面

sudo mv ./hadoop-2.6.5/ ./hadoop # 将文件夹名改为hadoop 
sudo chown -R hadoop:hadoop ./hadoop # 修改文件权限

在这里插入图片描述

cd /usr/local/hadoop    #进去hadoop目录

./bin/hadoop version    #检查hadoop是否可以了

出现下面图片样子就可以了:

之前我在这里也出错了,它提示你找不到jdk,

所以是你的jdk没有 或者没有配置 或者配置出错了等原因:去到jdk的配置文件下配置一下就可以了(上面有)

:在文件bashrc的最后面添加一行

若已经成功安装hadoop这个软件/项目,接下来进行单机版配置

  • 6.单机版配置及测试

Hadoop 默认模式为非分布式模式,不需要进行其他任何配置即可运行。

非分布式即单 Java 进程,方便进行调试。 运行以下指令:

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar

可以看到所有例子,包括 wordcount、terasort、join、grep 等。

为此我们选择运行一个 grep 例子(查找),将 input 文件夹中的所有文件作为输入,运行如下指令:
 

• cd /usr/local/hadoop  

• mkdir ./input    #建文件

• cp ./etc/hadoop/*.xml ./input   # 将配置文件作为输入文件 

筛选当中符合正则表达式 dfs[a-z.]+ 的单词并统计出现的次数, 最后输出结果到 output 文件夹中:

./bin/hadoop jar ./share/hadoop/mapreduce/hadoopmapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+'

出错了就手动敲代码!!!!

查看output中的运行结果:

 cat ./output/*          # 查看运行结果

到这里,恭喜你!  hadoop配置已经成功了!

最后:

若出现提示 “INFO metrics.MetricsUtil: Unable to obtain hostName java.net.UnknowHostException”,这需要执行如下命令修改 hosts 文件,为你的主机名增加IP映射:

• sudo vim /etc/hosts

在这里插入图片描述

保存文件后,重新运行 hadoop 实例
注意,Hadoop 默认不会覆盖结果文件,因此再次运行上面实例会提示出错,需要先 将./output删除: rm -r ./output

参考:https://blog.csdn.net/qq_41521180/article/details/88311299

猜你喜欢

转载自blog.csdn.net/weixin_42418774/article/details/88530014
今日推荐