matlab 如何使用urlread函数抓取赶集网上的租房信息

最近在研究urlread函数,并尝试抓取赶集网上的租房信息,特记录如下,首先上代码:

代码片段

上完代码,开始解释:

1、首先,为了加快访问速度,尝试开启了并行运算,但是并行运算过快的速度被赶集网识别了,所以只能注释掉;

2、然后,构建搜索网址,分析了赶集网租房信息的网址特征后,将它的网址按照搜索条件进行字符串组合,详见compose_all函数;

3、使用urlread函数抓取送进来网址的内容,装到str变量中,用status来判断是否装进来了;

4、使用正则表达式匹配里面的具体信息链接网址,用胞来保存;

5、使用while来判断是否所有的分页内容中的链接都已经提取完毕了;

6、如果提取完毕了就好办了,后面就是依次提取链接,读取内容,使用正则提取关键字,组合信息


PS:本来使用并行运算的时候,每秒提取速度大概在3条左右,但是被网站识别为机器人,所以只能人为的增加延迟时间,延长了程序的运行速度。尝试过使用代理服务器,奈何代理更慢,还不如开延迟。


2014/5/13号特此记录

猜你喜欢

转载自blog.csdn.net/wang_306/article/details/25691227