Nutch1.0或者Nutch1.1如何导入MyEclipse与Eclipse?
今天浪费了一天的时间花费在这上面,一开始是用Nutch1.1导入在MyEclipse与Eclipse中的,不断的尝试,不断的调试,上网查阅了太多的文章了,发现按他们每一种的方式都会出错,最后还是跟人交流之后,用自己的方式尝试成功了.好了不费话了.下面说说如何成功导入Nutch1.0而不会出错.
前期准备工作及导入步骤:
1.下载Cygwin工具:http://www.cygwin.com并安装Cygwin.安装成功后,记得在我的电脑属性中配置环境变量:
编辑path属性,加入d:cygwin/bin到path中.
2.下载nutch软件包:
http://labs.renren.com/apache-mirror//nutch/一般下载bin包即可.
3.解压刚下载下来的nutch软件包.如,解压位置为:D:\nutch-1.04.在Eclipse或者是在MyEclipse中新建一个Java Project项目, 名字自己定义(Nutch). 选择”Create project from existing source”，指向自己nutch-1.0的目录.
4.点击下一步，切换到”Libraries”选择”Add Class Folder…” 按钮，从列表中选择”conf”. —->Default Output floder —->Brower-à从Create New Folder中…新建一个新文件夹 output.(这一步跟网上的所有办法都不一样.).
注意:修改output文件夹下面的nutch-site.xml文件:
<property> <name>http.agent.name</name> <value>HD nutch agent</value> <description></description> </property> <property> <name>http.agent.description</name> <value>hpjianhua</value> <description></description> </property> <property> <name>http.agent.url</name> <value>http://www.163.com</value> <description></description> </property> <property> <name>http.agent.email</name> <value>[email protected]</value> <description></description> </property>
5.点击Finish 来完成Nutch1.0的导入.
下面在MyEclipse或者是Eclipse中对Nutch1.0进行修改以去掉项目中提示的错误:
1. 修改conf文件夹下面的文件:
1.1修改nutch-site.xml文件:
<configuration> <property> <name>http.agent.name</name> <value>nutch</value> <description></description> </property> <property> <name>http.agent.description</name> <value>hpjianhua</value> <description></description> </property> <property> <name>http.agent.url</name> <value>http://www.163.com</value> <description></description> </property> <property> <name>http.agent.email</name> <value>[email protected]</value> <description></description> </property> </configuration>
1.2修改nutch-defaul.xml文件:
<property> <name>http.agent.name</name> <value>HD nutch agent</value> <description>HTTP 'User-Agent' request header. MUST NOT be empty - please set this to a single word uniquely related to your organization. NOTE: You should also check other related properties: http.robots.agents http.agent.description http.agent.url http.agent.email http.agent.version and set their values appropriately. </description> </property>
1.3修改crawl-urlfilter.txt文件:
# accept hosts in MY.DOMAIN.NAME +^http://([a-z0-9]*\.)*163.com/
如果是Nutch1.1可以跳过下面的2 , 3, 4步,直接跑到第5步继续!
2. 下载MP3跟rtf的jar文件
http://nutch.cvs.sourceforge.net/nutch/nutch/src/plugin/parse-mp3/lib/，
http://nutch.cvs.sourceforge.net/nutch/nutch/src/plugin/parse-rtf/lib/
分别拷贝到src/plugin/parse-mp3/lib 和 src/plugin/parse-rtf/lib/文件夹下
3. 刷新几下，右键选择工程文件夹，选择Build Path->Configure Build Path…在弹出的窗口上，切换到Libraries，选择Add Jars…，添加刚才下载的jar文件到工程。
4.到这一步，一般的工程都会有两个错误，nutch的official 1.0 release版本中，这两个问题因为licensing issues没有修复。
接下来的就是最关键的部分了。
修改—- src\plugin\parse-rtf\src\java\org\apache\nutch\parse\rtf下RTFParseFactory.java
添加—– import org.apache.nutch.parse.ParseResult;
将 —– public Parse getParse(Content content) {
改为—- public ParseResult getParse(Content content) {
将 —- return new ParseStatus(ParseStatus.FAILED,
ParseStatus.FAILED_EXCEPTION,
e.toString()).getEmptyParse(conf);
改为—–return new ParseStatus(ParseStatus.FAILED,
ParseStatus.FAILED_EXCEPTION,
e.toString()).getEmptyParseResult(content.getUrl(), getConf());
将——return new ParseImpl(text,
new ParseData(ParseStatus.STATUS_SUCCESS,
title,
OutlinkExtractor.getOutlinks(text, this.conf),
content.getMetadata(),
metadata));
改为——return ParseResult.createParseResult(content.getUrl(),
new ParseImpl(text,
new ParseData(ParseStatus.STATUS_SUCCESS,
title,
OutlinkExtractor.getOutlinks(text, this.conf),
content.getMetadata(),
metadata)));
修改——src\plugin\parse-rtf\src\test\org\apache\nutch\parse\rtf下的TestRTFParser.java
将—–parse = new ParseUtil(conf).parseByExtensionId(“parse-rtf”, content);
改为—-parse = new ParseUtil(conf).parseByExtensionId(“parse-rtf”, content).get(urlString); 到这一步，eclipse上面的工程就会没有错误了 .
5.在nutch1.0的目录下新建立一个文件夹urls,然后再在urls中建立一个文本文件url. 写上链接。注意后面要有 “/”.
6.运行Nutch1.0:
选择Run->Run As->Java Application在弹出的Select Java Application上选择Crawl-org.apache.nutch.crawl. 接下来，
选择 Run->Run Configurations…在左边的Java Application下面会有Crawl这一项，选择它，
切换到Arguments，Program Arguments的内容就是要设置的参数，填上urls -dir crawl -depth 3 -topN 50（这里视自己的具体情况而定，urls为链接）
在VM arguments下面填上-Dhadoop.log.dir=logs -Dhadoop.log.file=hadoop.log.
直接运行吧：看在你的控制台上出现信息了没.
注意:关于Java Heap Size的问题，查看logs/hadoop.log或控制台输出，如果出现类似java.lang.OutOfMemoryError: Java heap space语句，
解决方法:
设置Eclipse -> Window -> Preferences -> Java -> Installed JREs -> edit -> Default VM arguments
7.设置为-Xms256m -Xmx1024m，其中Xms为最小内存，Xmx为最大内存.