Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。
Scrapy框架整体架构如下所示：
主要包含的组件：
- 引擎（Engine）：用来处理整个系统的数据流，触发事务（框架的核心）
- 调度器（Scheduler）：用来结束引擎发过来的请求，压入队列，并在引擎再次请求的时候返回，可以想象成一个 URL 的优先队列，由它来决定下一个要抓取的网址是什么，同时去除重复的网址
- 下载器（Downloader）：用于下载网页内容，并将网页返回给 Spider
- 爬虫（Spider）：用户编写的用于分析 response 并提取 item 或额外跟进的 URL 的类，每个 Spider 负责处理一个特定的网站
- 管道（Item Pipeline）：负责处理爬虫从网页中抽取的实体，主要的功能是持久化实体、验证实体的有效性、清楚不需要的信息。当页面被爬虫解析后，将被发送到项目管道，并经过几个特定的次序处理数据。
- 下载器中间件（Downloader Middlewares）：是引擎以及下载器之间的特定钩子（Hook），处理 Downloader 传递给引擎的 response， 其提供了一个简便的机制，通过插入自定义代码来扩展Scrapy功能。
- 调度中间件（Scheduler Middlewares）：介于 Scrapy 引擎和调度之间的中间件，从 Scrapy引擎发送到调度的请求和响应
数据流向
Scrapy的数据流由执行引擎（Engine）控制，其基本过程如下：
- 引擎从Spider中获取到初始Requests。
- 引擎将该Requests放入调度器，并请求下一个要爬取的Requests。
- 调度器返回下一个要爬取的Requests给引擎
- 引擎将Requests通过下载器中间件转发给下载器(Downloader)。
- 一旦页面下载完毕，下载器生成一个该页面的Response，并将其通过下载中间件(返回(response)方向)发送给引擎。
- 引擎从下载器中接收到Response并通过Spider中间件(输入方向)发送给Spider处理。
- Spider处理Response并返回爬取到的Item及(跟进的)新的Request给引擎。
- 引擎将(Spider返回的)爬取到的Item交给ItemPipeline处理，将(Spider返回的)Request交给调度器，并请求下一个Requests（如果存在的话）。
- (从第一步)重复直到调度器中没有更多地Request。
总结
Scrapy的各个组件相互配合执行，有的组件负责任务的调度，有的组件负责任务的下载，有的组件负责数据的清洗保存，各组件分工明确。在组件之间存在middleware的中间件，其作用就是功能的拓展，当然还可以根据自身的需求自定义这些拓展功能，比如我们可以在Downloader middlewares里面实现User-Agent的切换，Proxy的切换等等。