采集数据小总结

通过http下载对方网页文本,然后匹配相关标签,提取出需要数据,以指定格式存放,然后再对应自己数据库的规则放入其中



采集过程遇到的问题

1.十分钟内访问数据页面,需要输入验证码

2.每天ip限定访问五十个以内,用完则明天再来


刚开始的解决办法:去抓取网上提供的代理ip 端口,然后代理访问

问题:
代理ip好多不能用,需要代理ip个数较多,然后还要根据采集网站的规则设置,比如十分钟内每个代理访问规则数量-1,之后再次访问.


吃完饭后的解决办法:代理软件,goagent可以试试,用的是谷歌的ip,但居然是动态的,但是几秒一动态,具体不知道
问题:
那么就用这个代理连续采集,能进行,但是大概采集3000个成功500个,采集完成后多采集几次就ok了,然后把重复数据一合并,基本就ok了



快下班时的解决办法:百度 搜搜什么的网页快照,这么bug的方式居然没想到,用站长工具一搜索,居然这么多的收录,然后直接根据规则深度采集


采集与防采集都是很多网站必备的,但是这玩意不好弄,大家有什么更好的采集方式,防采集方式,转头石头什么的,果断砸过来