版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/PbGc396Dwxjb77F2je/article/details/80154986
1、先建立爬虫项目
1）进入目标目录：cd 目标目录
2）建立项目：scrapy startproject 爬虫项目名称
3）进入爬虫项目目录，cd 爬虫项目所在的文件夹
4）建立爬虫：scrapy genspider 爬虫名称 网址
具体可参考豆瓣的爬虫博文。
2、编写爬虫程序
有五个注意和修改的地方：
1）编写spider程序，我的案例是spider的test.py的文件中
2）新建一个一个去重url的类duplication.py，并需要在settings.py中导入
3）修改items.py
4）修改pipeline.py，并需要在settings.py中导入
5）编写运行爬虫的程序，我的是runspider.py
6）对应的修改settings.py：导入去重类、pipline类、设置DEPTH_LIMIT
完整的项目目录如下：
1）爬虫文件test.py的程序，如下：主要是注意跳转下一页的用法。
2）新建duplication.py的程序，如下：
3）修改items.py的程序，如下：
4）修改pipelines.py的程序，比如写了两个pipline，一个保存到text文件，一个保存到csv中，如下：
text的pipline程序如下：
也可以保存在csv中，如下程序：
5）编写运行爬虫的程序，我的是runspider.py，如下：
6）对应的修改settings.py：导入去重类、pipline类、设置DEPTH_LIMIT
导入去重类：
pipeline类：
设置DEPTH_LIMIT：
7）执行出来的文件如下所示：