nutch配置成功

nutch配置成功,现在进行关键的技术选型。根据项目特殊情况及实现中文搜索可能存在的问题,提出三套技术方案,除自己外,另安排一人选择第三套方案进行实施测试,预期一周后进行根据测试情况选择具体的实施方案。由自己负责第一套方案的测试,目前需进行的工作:
1、综合比较nutch和heritrix,选择合适的网络蜘蛛。
2、分析网络蜘蛛源码,找出网址过滤功能及roboot协议控制功能模块,并做出适当修改。
3、分析Lucene接口,尤其是中文分词部分,并选择合适的中文分词开源接口。

猜你喜欢

转载自phoenixfm.iteye.com/blog/667877