信息抽取思考笔记

信息抽取的两种方式:基于内嵌浏览器的navigation的抽取方式和crawler下网页进行离线抽取。

第一种方式可以利用浏览器强大的功能js,ajax和visual方面的信息,来提高抽取的准确性。

但效率比较低,js load的时间比较长,一些情况抽取的数据下无法满足实时性服务的需要。

第二种方式有较高的效率,但web的富客户化,ajax、flex等技术导致许多信息根本无法抽取。

对于第一种方法可以hack浏览器,添加js加载的cache,从cache中直接加载js的url对应的

js文件,能够很大程度减少load页面的时间。

对于Deep Web可以进行url及其参数拼装或者发送post请求去获得,google有一篇自动生成配装url和

crawle Deep Web数据的一篇论文,可以在http://www.cs.cornell.edu/~lucja/Publications/i03.pdf 找到

,剑波小童鞋做了翻译http://hi.baidu.com/megaj/blog/item/687b527a95e2b3fc0bd18787.html。

当然也可以使用模拟点击和提交表单的开源工具以及基于浏览器的Crawler,当然效率上要有折扣。

在抽取网站数量不是很巨大的情况下,进行Crawler还是可以维护的。

猜你喜欢

转载自fuliang.iteye.com/blog/543650
今日推荐