大数据生态系统基础:Hadoop(六):Mac 下Hadoop-Eclipse-plugin编译和集成环境配置

一、环境配置

         安装0hadoop-eclipse-plugins不是必须的,但是安装了后开发使用比较方便,一是对hadoop中的文件可视化。二是创建MapReduce Project时引入依赖的jar。


       下一步将进行 MapReduce 的开发,在开发之前,首先要安装 Eclipse 插件,这个插件就是 Hadoop-Eclipse-Plugin,安装这个还有点麻烦,原因是:

        1、Mac 环境

         Mac 环境安装 Eclipse 是专用的 Eclipse.App,其 Plugins 的位置和其它版本不一样。

       2、Eclipse OxyGen 最新版本

        Eclipse OxyGen 版本也和其它的安装不一样,可以看到位置在 /Applications/Eclipse.app/Contents/Eclipse下。     

         还要注意的是,Eclipse 在 Mac 中,插件并非是放在 /Applications/Eclipse.app/Contents/Eclipse/plugins 目录下,而是在你的 Home 目录下.  ~/.p2/pool/plugins,这个目录中。

      

       3、Hadoop-Eclipse-Plugin

        这是一个插件,它的源代码在 Github上,地址是:

       https://github.com/winghc/hadoop2x-eclipse-plugin

       可以使用 git clone 下载下来。

        git clone https://github.com/winghc/hadoop2x-eclipse-plugin.git

  

二、编译Hadoop-Eclipse-Plugin

      1、准备 Eclipse 的 Plugins包

            在编译前,需要知道 Eclipse 的插件包在哪里,上面说过,是在~/.p2/pool/plugins 中。

      2、Hadoop 的安装位置

            本系统是在 ~/hadoop 中

      3、git clone 到一个目录中, 本机是在~/source 中

      4、进入到目录:~/source/hadoop2x-eclipse-plugin/src/contrib/eclipse-plugin$

      5、该目录下有一个 build.txt 文件,查看该文件,里面有需要的 jar 文件支持

  •  20 <project default="jar" name="eclipse-plugin">
  •  21
  •  22   <import file="../build-contrib.xml"/>
  •  23
  •  24   <path id="eclipse-sdk-jars">
  •  25     <fileset dir="${eclipse.home}/plugins/">
  •  26       <include name="org.eclipse.ui*.jar"/>
  •  27       <include name="org.eclipse.jdt*.jar"/>
  •  28       <include name="org.eclipse.core*.jar"/>
  •  29       <include name="org.eclipse.equinox*.jar"/>
  •  30       <include name="org.eclipse.debug*.jar"/>
  •  31       <include name="org.eclipse.osgi*.jar"/>
  •  32       <include name="org.eclipse.swt*.jar"/>
  •  33       <include name="org.eclipse.jface*.jar"/>
  •  34
  •  35       <include name="org.eclipse.team.cvs.ssh2*.jar"/>
  •  36       <include name="com.jcraft.jsch*.jar"/>
  •  37     </fileset>
  •  38   </path>
         请确保,~/.p2/pool/plugins目录下有这些 jar 文件,我编译的时候就缺乏 org.eclipse.team.cvs.*文件。

       6、开始编译
            确保你已经安装了 apache ant 软件哦。
         ant jar -Dversion=2.6.4 -Dhadoop.version=2.6.4  -Declipse.home=$HOME/.p2/pool/ -Dhadoop.home=/Users/wangxinnian/hadoop
        因为我的 hadoop 是使用的2.6.4版本,所以,标注版本是2.6.4
     7、问题
           第一次编译,有错误:
         
          UILD FAILED
/Users/wangxinnian/source/hadoop2x-eclipse-plugin/src/contrib/eclipse-plugin/build.xml:118: Warning: Could not find file /Users/wangxinnian/hadoop/share/hadoop/common/lib/commons-collections-3.2.1.jar to copy.
          缺乏commons-collections-3.2.1.jar ,但是这个目录下有commons-collections-3.2.2.jar,所以:
          cp commons-collections-3.2.2.jar commons-collections-3.2.1.jar
     8、最后顺利编译完成, 最后产生的 jar 文件
       [jar] Building jar: /Users/wangxinnian/source/hadoop2x-eclipse-plugin/build/contrib/eclipse-plugin/hadoop-eclipse-plugin-2.6.4.jar


三、安装hadoop-eclipse-plugin-2.6.4.jar
       很麻烦,Oxygen 在 install new software 中不支持直接安装此文件。
       很麻烦, 将文件拷贝到~/.p2/pool/plugins,也无效
       很麻烦, 将文件拷贝到eclipse 的安装目录:/Applications/Eclipse.app/Contents/Eclipse/plugins,也无效
       一筹莫展, 最后,将文件拷贝到/Applications/Eclipse.app/Contents/Eclipse/dropins, 可以了。
        后来看了看,也许在eclipse 的安装目录下,plugins 和 dropins都必须拷贝 才行。
  
四、启动 Eclipse,设置 Hadoop 的运行路径
        在偏好设置中(preference...)中,就可以看到 Hadoop Map/Reduce,并在右边设置 Hadoop 的安装目录即可。
         

       然后,要在界面上显示出这个视图,  Window->show view,选择 other...
     
      然后在界面上显示  Map/Reduce Locations 的标签
    
    至此,该插件已经正确安装。

  五、插件的配置
           在 Map/Reduce Locations 空白处鼠标右键,弹出对话框
        


     
       选择 New Hadoop location 
     
       将上面箭头处的项目填写上, Location name 随便填写, Host 填写 master 的主机名, 端口统一填写9000,由于 Hadoop 2.2以后没有 jobtracker,所以,都填写9000, 填写完毕后,在 project 浏览器视图上可以看到 DFS Locations,可以直接查看 HDFS 的内容。
      

在 DFS Locations 上的文件夹上点击鼠标右键,弹出相应的菜单进行操作。下载、创建新目录、上传文件和上传目录。




发布了52 篇原创文章 · 获赞 4 · 访问量 5万+

猜你喜欢

转载自blog.csdn.net/caridle/article/details/77422306