记录爬取2470条数据

由于爬取了几百条之后,生成的文件就是30多MB啦。所以分成1000,500,500,470.4个批次。

不过,要手动挪一下。【就是把之前第一页生成的挪过来。】

列表文件,和基础信息文件.都弄成空列表!

前1000个:

前1000条:

【记录一下在995条遇到的困难】

还好,我设置了自动从上次失败的地方进行爬取的功能代码:

再次启动:

 

前1000条结束:

 

 我们仅仅修改page里面的数值就可以。这是因为record.txt里面已经设置了上次的断点。

对于已经成功的1000页,也要修改。为了以后代码执行的工作量小点!进行切割:【切割CVE编号,以及漏洞基本信息!】

代码:https://www.cnblogs.com/hwpbetter/p/12631806.html

发布了603 篇原创文章 · 获赞 1375 · 访问量 116万+

猜你喜欢

转载自blog.csdn.net/weixin_42859280/article/details/105307863
今日推荐