由于爬取了几百条之后,生成的文件就是30多MB啦。所以分成1000,500,500,470.4个批次。
不过,要手动挪一下。【就是把之前第一页生成的挪过来。】
列表文件,和基础信息文件.都弄成空列表!
前1000个:
前1000条:
【记录一下在995条遇到的困难】
还好,我设置了自动从上次失败的地方进行爬取的功能代码:
再次启动:
前1000条结束:
我们仅仅修改page里面的数值就可以。这是因为record.txt里面已经设置了上次的断点。
对于已经成功的1000页,也要修改。为了以后代码执行的工作量小点!进行切割:【切割CVE编号,以及漏洞基本信息!】