Mac OS上配置hadoop eclipse 调试环境

1. 配置Hadoop
将下载的Hadoop压缩文件解压缩，找到conf目录，打开core-site.xml，修改代码如下所示：

Xml代码

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>fs.default.name</name>
<value>localhost:9000</value>
</property>
</configuration>

找到mapred-site.xml修改代码如下所示：

Xml代码

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>

找到hdfs-site.xml修改代码如下所示：

Xml代码

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

找到hadoop-env.sh打开，加入以下配置

引用

export JAVA_HOME=/System/Library/Frameworks/JavaVM.framework/Versions/1.6.0/Home

export HADOOP_INSTALL=/Users/alex/Documents/DevRes/hadoop-version

export PATH=$PATH:$HADOOP_INSTALL/bin

其中，具体的目录根据你的实际情况配置。

2. 配置SSH
windows版本可安装openssh，本章主要介绍Mac OS，打开“系统偏好设置”，找到共享，勾选远程登录，如下图所示：

在terminal里面输入

ssh localhost

会有错误提示信息，表示当前用户没有权限。

输入

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

ssh-keygen表示生成秘钥；-t表示秘钥类型；-P用于提供密语；-f指定生成的秘钥文件。这个命令在”~/.ssh/“文件夹下创建两个文件id_dsa和id_dsa.pub，是ssh的一对儿私钥和公钥。接下来，将公钥追加到授权的key中去，输入：

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

ssh免登陆设置完成。

3. 运行Hadoop
打开终端，定位到Hadoop目录输入以下命令：
bin/hadoop namenode -format

然后输入bin/start-all.sh

4. 检查启动

打开连接地址http://localhost:50070
如果找不到页面，请查看log日志（在hadoop目录中的log文件夹下），否则应当会看到以下页面：

然后再打开地址http://localhost:50030/
应当能看到以下页面（如果看不到，则证明你的jobtracker启动失败，请查看log）：

至此，Hadoop配置成功。

5. Mac下编译hadoop eclipse plugin

进入%Hadoop_HOME%\src\contrib\

编辑build-contrib.xml

加入

将%Hadoop_HOME%下的jar包拷到eclipse所在目录的plugins目录下，比如hadoop-core-*.jar

进入%Hadoop_HOME%\src\contrib\eclipse-plugin

编辑build.xml

在

</fileset>

</path>

中加入

将compile模块中

deprecation="${javac.deprecation}

去掉。

打开CMD在%Hadoop_HOME%\src\contrib\eclipse-plugin下使用ant

这时开始编译。

jar:
[echo] version:1.0.3
[copy] Copying 1 file to D:\hadoop-1.0.3\build\contrib\eclipse-plugin\lib
[copy] Copying D:\hadoop-1.0.3\build\ivy\lib\Hadoop\common\commons-cli-1.2.
jar to D:\hadoop-1.0.3\build\contrib\eclipse-plugin\lib\commons-cli-1.2.jar
[jar] Building jar: D:\hadoop-1.0.3\build\contrib\eclipse-plugin\hadoop-ec
lipse-plugin-1.0.3.jar
BUILD SUCCESSFUL
Total time: 2 seconds

注意，在编译的过程中可能会报错，主要出在jar时的copy问题上，把commons-cli-1.2.jar与拷到 %HADOOP_HOME%\build\ivy\lib\Hadoop\common\下，将hadoop-core-1.0.3.jar拷到%HADOOP_HOME%\build下即可。

编译成功后，会在 %Hadoop_Home%\build\contrib\eclipse-plugin\下生成hadoop-eclipse-plugin-1.0.3.jar。将其拷到eclipse所在目录的plugins目录下。

6. 配置Eclipse
将编译成功的eclipse-plugin复制到你的Eclipse的plugin文件夹中。

此时打开Eclipse，在Open Perspective中选择其它，找到Map/Reduce视图，打开它。
此时你会发现在Project Explorer和下面的视图中多了一个DFS Locations，右键新建Location如下图所示：

此时会打开一个窗口，对其进行配置，端口号就是我们刚才在core-site.xml中配置的端口好，既9000，如下图所示：

点击确定后即可在左边的Project Explorer面板中对DFS Location进行展开，如下图所示：

第六步：在Eclipse中写代码
在Map/Reduce视图中新建一个Map/Reduce项目（该项目与普通Java项目没什么区别），新建一个Java类，该类主要用于读取我们前面复制到HDFS中的那个文件内容：

Java代码

package cn.com.fri;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.net.URISyntaxException;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileContext;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.security.AccessControlException;
public class Test {
public static void main(String[] args) throws AccessControlException,
FileNotFoundException, IOException, URISyntaxException {
FileContext fc = FileContext
.getFileContext();//如果运行在hadoop location中，不需要配置URI，否则需要给一个URI
FSDataInputStream fsInput = fc.open(new Path(
"/tmp/hadoop-alex/persons.rtf"));
IOUtils.copyBytes(fsInput, System.out, 4090, false);
fsInput.seek(0);
IOUtils.copyBytes(fsInput, System.out, 4090, false);
}
}

然后右键->Run As->Run on hadoop，此时会让你选择一个location，就选中我们刚才新建的location即可。

Mac OS上配置hadoop eclipse 调试环境

猜你喜欢