ForeSpider数据采集系统如何采集源码中看不到的数据

以前介绍过如何从网页源码中抓取自己想要的数据,可是还有很多数据是源码中看不到的。那今天来给大家讲一下如何抓取源码中看不到的数据。

 

如上图中,我想取到红框中“保证金”的金额,但是通过查看网页源码发现保证金的金额在源码中是看不到的。下面教大家使用ForeSpider数据采集软件的时候是怎样抓取这样的数据的。

 

先在网页中打开网址,右键页面上任意地方,点击“审查元素”,打开开发者工具,如下图中,点击“启用网络流量捕获”,再刷新一下页面。

 

在搜索框中输入我们想要找的数据,我这次要取的保证金金额是“25000”,输入以后点击搜索按钮,发现相应正文中有需要的数据。数据已经找到,接下来就可以使用ForeSpider数据采集软件写脚本爬取数据了。

 

下面是数据采集的脚本,这次写在了字段中,“字段处理”选择“脚本处理”,每一行的意义都在注释中写明。

 

脚本中refer和cookie信息是在浏览器的请求标头里,变量ur赋值是在摘要的url地址。

 

 

本次脚本使用的方法Opendoc,在ForeSpider数据采集系统的帮助文档中有详细的说明。

本次采集示例网址:http://shop.zbj.com/7014922/evaluation.html

猜你喜欢

转载自blog.csdn.net/u011231755/article/details/77750647