python爬虫(四):scrapy 【2. 其他重要部分】

中文文档:http://www.scrapyd.cn/doc/

本节包括:

1. resquest 和 response 的属性方法

2. scrapy提取信息的强大方法

request 和 response

request:

属性或方法 说明

.url Request对应的请求URL地址

.method 对应的请求方法,'GET' 'POST'等

.headers 字典类型风格的请求头

.body 请求内容主体,字符串类型

.meta 用户添加的扩展信息,在Scrapy内部模块间传递信息使用

.copy() 复制该请求

response:

属性或方法 说明

.url Response对应的URL地址

.status HTTP状态码,默认是200

.headers Response对应的头部信息

.body Response对应的内容信息,字符串类型

.flags 一组标记

.request 产生Response类型对应的Request对象

.copy() 复制该响应

Scrapy爬虫支持多种HTML信息提取方法:

Beautiful Soup

lxml

re

XPath Selector

CSS Selector

CSS Selector 由 W3C 组织维护并规范,基本使用方法:

<HTML>.css('a::attr(href)').extract()

可以参考:

http://www.scrapyd.cn/doc/146.html

http://www.scrapyd.cn/doc/185.html

猜你喜欢

转载自blog.csdn.net/weixin_42490528/article/details/84925968