Hadoop eclipse插件编译过程

开题:创业1年,以失败告终,被收购了( 不能说完全失败,但作为原始股东的我最终没分到一分钱。。可悲)。呵呵,回到正题,还是喜欢一个人研究各种技术,望有天可以真正的将一身所学用于实践。
    到现在才学习Hadoop可能已经过时了,最近网上有很多人说学大数据应该学习spark了。本人也本着赶潮流的思维百度了一把,发现spark其实就是增强版的Hadoop。。。 ,好吧,那就还是安安心心的将Hadoop好好学习一下吧--毕竟我一贯的学习目标就是学思维模式,不是追赶潮流嘛
    网上可用的视频等资料有点少,为了快速入门,还是找本PDF来的快(工作5年多,感觉很多知识都是通的,感觉知识的累计还是书入门的快一些);当然,在您还没有达到一定水平时还是先看看视频来的快,毕竟老师的讲解还是很详细的
    这里推荐两本书《HADOOP权威指南》和《Hadoop实战》,写的不错,比较基础,对于有一定基础的童鞋入门是没有难度的。(这两本书我就看了2、3章左右吧,但越看越手痒,总想敲代码。。。可Hadoop的开发竟然跟其他的项目不太一样。。起码结构不太一样。。。)
    菜鸟 真是伤不起,先弄个eclipse插件来辅助一下吧。
    由于弄这个插件浪费了我一些时间,这里就简单的记一下关键事项。有些步骤网上也有,大家见谅,我主要是用来自己备忘的
1、环境安装--JDK安装(最新版即可,不多说了,网上好多资料,太简单了)
2、环境安装--Hadoop安装(最新版即可,解压安装、配置等网上太多了,这里也不说了)
   算了,还是再多说两句,配置项那一块大家最好一条一条的找google或baidu,对于初学者感觉还是有必要的
3、环境安装--Ant(最新版,解压安装,环境变量等配置,太简单了,不说了)
4、eclipse插件--去github上下载hadoop2x-eclipse-plugin-master
   地址:https://github.com/winghc/hadoop2x-eclipse-plugin.git
   由于都是java写的,系统无关
5、编译:
    a、cmd或shell进入src\contrib\eclipse-plugin目录
    b、修改build.xml,找到compile target,删除depend(网上很多人都是这么弄得,我照做了,懒得追了)
    c、运行指令:
ant jar -Dversion=2.7.3 -Declipse.home=D:\soft\eclipse-jee-kepler-SR2-win32-x86_64\eclipse -Dhadoop.home=D:\soft\hadoop\hadoop-2.7.3\hadoop-2.7.3

      版本号和路径改成自己的
    d、查看过程,有两种报错,eclipse jar找不到或者hadoop依赖包找不到,本人试过最新版的eclipse Neon,由于插件编译过程会参考eclipse目录的plugins目录下的相关jar,最新版的eclipse结构变化,已经将那些jar隐藏了;所以想要正确安装还得下一个稍微旧版的eclipse,我试了,稍微旧一些的都没问题。只有最新的有点问题--jar拷过去也不管用
    e、  hadoop依赖包的问题
        src的同级目录ivy目录(hadoop2x-eclipse-plugin-master\ivy)下的libraries.properties中有对应的版本。插件编译过程中会参考这个文件里的版本信息,这里需要将版本号修改成hadoop真是路径下的版本号,目录:
hadoop-2.7.3\share\hadoop\common

     f、一切没问题,你要的jar就在
     
hadoop2x-eclipse-plugin-master\build\contrib\eclipse-plugin

      赶紧拷贝到eclipse plugins中去试试Hadoop工程吧

猜你喜欢

转载自xxfengxia.iteye.com/blog/2334488