MacBook Pro18 安装hadoop2.7.7版本和eclipse插件安装

(话外)这几天,刚刚入手一台macbook pro18,心情非常激动,虽然已经对linux系统很熟悉,但是刚开始几天用mac还是不习惯,就赶紧的安装完的hadoop来跑实验。
现在来谈谈安装hadoop踩过的坑。Mac安装hadoop和其他系统差不多只是有点地方不同。
1.安装工具
Hadoop 2.7.7。
eclipse-Mac版
2.在home下设置java和hadoop的环境路径
即进入~/.bash_profile 设置hadoop和java 路径

值得注意的是java路径的最后是/Home。  大家别把JAVA弄进去了 3.ssh免密码登陆
我安装网上很多教程
直接在系统偏好设置-共享-〉远程登录中打开远程登录如下图:
把允许访问对象设置为所有人

然后执行下面代码:
3.1ssh-keygen -t rsa
3.2 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
按照网上教程做到这 一般的电脑就可以ssh localhost 然后就直接登陆上了。
但是我刚买的电脑也不知道什么原因,设置到这一切OK,但是SSH 还是需要密码我就很纳闷。
最后在一篇博客中看到要加上:
3.3. chmod og-wx ~/.ssh/authorized_keys
然后就ok了

4.接下来配置hadoop
伪分布式的hadoop的配置,其实并不是太难。主要需要配置4个文件
安装解压好Hadoop后在hadoop文件中 /etc/hadoop中进行配置4个文件
4.1配置Hadoop-env.sh
这个文件主要是要将hadoop中的编程语言和java语言联系起来,即
修改改文件夹中java的路径
一般情况下Mac中java安装路径就是这个 如果你找不到的话可以使用which java来进行查找
4.2配置core-site.xml(配置老大)
这个文件是对namenode 信息进行配置即配置其端口号9000,后面会用到。

在这里插入图片描述

4.3配置hdfs-site.xml.
这里配置复制的的个数,和存储的地方,一般情况下如果不设置把数据存到某个地方,他会默认把产生的数据放到他默认的地方去,时间长了会沾满,所以我们可以先把数据的数据修改配置到tmp中。

在这里插入图片描述

4.4 yarn 配置
直接粘贴下面代码就可以

yarn.nodemanager.aux-services mapreduce_shuffle

配置完初始化,执行
hdfs namenode -format
去sbin下执行./start-all.sh就可以
用jps查看
这样就成功了,但是我之前配置的时候datanode没有运行,是因为在上面的配置中我们本来自己产生了一tmp会和原有的冲突,所以要先把现有tmp删除掉再 重新编译Hadoop namenode -format 再./start-all.sh就可以了

5.接下来是配置eclipse插件
首先我去eclipse.org上面去下载了一个mac版的eclipse,很奇怪的是eclipse只有50兆左右(windows一般都是几百兆,也许是Mac版精简一点吧)
下载好之后就要下载hadoop的插件。
这一步有很多博客写过,插件可以自己从hadoop源码中间自己去拷贝出来打一个jar包 放到eclipse中,但是现在有很多人已经把hadoop插件包弄好了,可以直接去github上下载
https://github.com/winghc/hadoop2x-eclipse-plugin
你从下载的包名可以看出,这是很多版本的插件集合,所以我们要从中间找出一个适合自己hadoop版的插件。
插件jar包在/release下,我的hadoop是2.7.7版本的,所以我选择了和我版本最近的hadoop-eclipse-plugin-2.6.0.jar.拷贝下来。
然后去找eclipse安装的文件位置,mac版电脑文件安装位置和windows类似,从访达中应用程序中找到eclipse.

然后点击右键显示包内容,进去之后在/contents/eclipse/plugins下把刚刚的插件jar包加进去,就行了。
下一步,你要去重新启动eclipse,在eclipse下找到preference,给eclipse安装找到hadoop安装路径。
在这里插入图片描述
下面的路径是你安装hadoop的位置
在这里插入图片描述

值得注意的是,很多人加完包之后,在preference中没有看到hadoop的选项,这里因为你的eclipse中间更新的部分没有更新的新加入插件的包的记录。
还是在eclipse安装文件中删除原先插件的记录,然后重新启动才行,即删除/contents/eclipse/configuration/org.eclipse.update,然后重新启动就可以看到在preference下hadoop选项(如果是在eclipse安装好后一次都没打开eclipse,则可以跳过这一步。)
在这里插入图片描述
到这一步基本上就安装的差不多了,然后创建一个hadoop map/reduce的工程。然后配置一下hadoop的位置。如下图

在这里插入图片描述
在这里插入图片描述
左边的端口号填mapped-site.xml中填的端口号
右边的端口号填core-site.xml中的端口号
填好后就配好了,接下来就可以跑程序了,最好去下载一个wordcount程序去测试一下你的配置是否成功。

猜你喜欢

转载自blog.csdn.net/weixin_42615157/article/details/84885566
今日推荐