nutch-1.2在搜索HDFS过程中高并发的处理

紧接着昨天的一篇文档写下去。nutch-1.2结合hadoop搜索,在高并发的情况下,搜索的速度如何提升。

1、其实通过看nutch-1.2中的NutchBean源码程序不难发现,它在搜索的时候,有几个实现类,RPCSearchBean、DistributedSearchBean、SolrSearchBean。在RPCSearchBean中还有LuceneSearchBean,和NutchBean.这里我是使用的NutchBean.在搜索过程中,发出一个search的请求,hadoop接受到这个请求后,会从各个的slaves节点上收集信息,然后返回给master。master返回给nutch.原理是这个样子的。这里我是把FetchedSegments 中的getParseData 方法的同步代码去掉了,可以让大量的请求过来搜索。因为我在初始化的时候只打开一次HDFS的 index.

希望这些对大家的工作过程中有所帮助!

猜你喜欢

转载自p-x1984.iteye.com/blog/1124548