nutch配置文件调用说明

org\apache\nutch\util下的NutchConfiguration.java在NUTCH中占有重要地位,他读取"nutch-default.xml"和"nutch-site.xml"两个配置文件。NUTCH的其他工具都有一个Configuration对象,这个读取就一般用NutchConfiguration实例化,从而获得该工具相应的配置参数。如URL过滤工具就会在nutch-default.xml寻找相关的配置文件regex-urlfilter.txt、automaton-urlfilter.txt、prefix-urlfilter.txt、suffix-urlfilter.txt从而获取相应的过滤规则。
另一关键点是:nutch-default.xml还通过plugin.includes属性找到需要的扩展插件(Extention),默认的插件是protocol-http|urlfilter-regex|parse-(text|html|js)|index-basic|query-(basic|site|url)|summary-basic|scoring-opic|urlnormalizer-(pass|regex|basic)(利用与正则表达式对插件进行过滤)
Extention在NUTCH中扮演重要角色,网页抓取、URL过滤功能都是通过插件实现的。

猜你喜欢

转载自phoenixfm.iteye.com/blog/668747
今日推荐