python爬虫框架--scrapy 基本使用

流程框架:

1、抓取第一页:请求第一页的URL并得到源代码,进行下一步分析。

2、获取内容和下一页链接:分析源代码,提取首页内容,获取下一页链接等待进一步爬取。

3、保存爬取结果:将爬取结果保存为特定格式入文本、数据库。

4、翻页爬取:请求下一页信息、分析内容并请求再下一页。

链接。 

猜你喜欢

转载自blog.csdn.net/weixin_39241397/article/details/80993889
今日推荐