scrapy总结1

版权声明： https://blog.csdn.net/djs123DJS/article/details/84109711

异步和同步指的是过程，阻塞和非阻塞指的是状态

scrapy中重要的是怎样写xpath来取数据，怎么样处理数据，还有怎样进行数据的保存。

创建一个scrapy 项目就是创建了一个scrapy文件夹。还要在 cd 到这个文件夹下面创建爬虫。

1 .scrapy startproject mySpiser

2.scrapy genspider itcast itcast.cn (创建一个spider)

可以定义多个pipeline ，如一个pipeline进行数据的处理，一个pipeline进行数据的保存。