版权声明：关注微信公众号：摸鱼科技资讯，联系我们 https://blog.csdn.net/qq_36949176/article/details/84595355
步骤1：创建一个工程和Spider模板
步骤2：编写Spider
步骤3：编写Item Pipeline
步骤4：优化配置策略
Scrapy爬虫的数据类型
Request类
class scrapy.http.Request()
*Request对象表示一个HTTP请求
*由Spider生成，由Downloader执行
request类
| 属性或方法 | 说明 |
| .url | Request对应的请求URL地址 |
| .method | 对应的请求方法，‘GET’'POST'等 |
| .headers | 字典类型风格的请求头 |
| .body | 请求内容主体，字符串类型 |
| .meta | 用户添加的扩展信息，在Scrapy内部模块间传递信息使用 |
| .copy() | 复制该请求 |
Response类
class scrapy.http.Response()
*Response对象表示一个HTTP响应
*由Downloader生成，由Spider处理
Response类型
| 属性或方法 | 说明 |
| .url | Response对应的URL地址 |
| .status | HTTP状态码，默认值是200 |
| .headers | Response对应的头部信息 |
| .body | Response对应的内容信息，字符串类型 |
| .flags | 一组标记 |
| .request | 产生Response类型对应的Request对象 |
| .copy() | 复制该响应 |
Item类
class scrapy.item.Item()
*Item对象表示一个从HTML页面中提取的信息内容
*由Spider生成，由Item Pipeline处理
*Item类似字典类型，可以按照字典类型操作
Scrapy爬虫提取信息的方法
Scrapy爬虫支持多种HTML信息提取方法
*Beautiful Soup
*lxml
*re
*XPath Selector
*CSS Selector
我们介绍一下CSS Selector信息提取方法
CSS Selector的基本使用
<HTML>.CSS('a::attr(href)').extract() //通过标签名称，标签属性来设置相关信息CSS Selector由W3C组织维护并规范