Request类是scrapy模块中request请求的基类，request请求类中还有FormRequest类，继承了Request类并进行了扩充
一、Request
Scrapy.http.Request：
Scrapy.http.Request类是scrapy框架中request的基类。它的参数如下：
url（字符串） - 此请求的URL，发起请求的URL
callback（callable）- 回调函数
method（string） - 此请求的HTTP方法。默认为’GET’。
meta（dict） - Request.meta属性的初始值。
body（str 或unicode） - 请求体。如果没有传参，默认为空字符串。
headers（dict） - 此请求的请求头。
cookies - 请求cookie。
encoding（字符串） - 此请求的编码（默认为’utf-8’）此编码将用于对URL进行百分比编码并将body转换为str（如果给定unicode）。
priority（int） - 此请求的优先级（默认为0，该优先级和管道的不一样，从高到低）。
dont_filter（boolean） - 表示调度程序不应过滤此请求。（默认过滤）
errback（callable） - 在处理请求时引发任何异常时将调用的函数。（是一个回调函数）
flags（list） - 发送给请求的标志，可用于日志记录或类似目的。
a=Request（url，·······）
cb_kwargs (dict) – 具有任意数据的dict，将作为关键字参数传递到callback
属性和方法：
url 包含此请求的URL的字符串。该属性是只读的。更改请求使用的URL replace()。
method 表示请求中的HTTP方法的字符串。
headers 类似字典的对象，包含请求头。
body 包含请求正文的str。该属性是只读的。更改请求使用的URL replace()。
meta 包含此请求的任意元数据的字典。
copy() 返回一个新的请求，改请求是此请求的副本。复制一个副本出来
replace（[ URL，method，headers，body，cookies，meta，encoding，dont_filter，callback，errback] ） 返回一个更新对的request
print（a.url）
b=a.replace（~~~~~·······）进行更新，修正，然后生成的b为最新的请求
FormRequest：
能更方便的使用post方法，对post进行了重写，主要是让post更好用了
get请求和post请求是最常见的请求。scrapy框架内置了一个FormRequest类
它扩展了基类Request，具有处理HTML表单的功能。
它使用lxml.html表单，来预先填充表单字段，其中包含来自Response对象的表单数据。
具体API，我们来学习源码
二、Response
导出：from scrapy.http.response import Response
参数：下面一些参数在构造response时，如果不写入，只有request的话，一般只表述出request对应的请求的内容。
url（字符串） - 此响应的URL
status（整数） - 响应的HTTP状态。默认为200。
headers（dict） - 此响应的响应头。dict值可以是字符串（对于单值标头）或列表（对于多值标头）。
body（字节） - 响应主体。要将解码后的文本作为str（Python 2中的unicode）访问，您可以使用response.text来自编码感知的 Response子类，例如TextResponse，
如果是图片数据必须要用response.body得到，不是图片数据，就要先导出from scrapy.http.response import text（这里的text的源码经过解码处理），然后就可以response.text
，一般用response.text来打印出响应内容
flags（列表） - 是包含Response.flags属性初始值的列表 。如果给定，列表将被浅层复制。
request（Requestobject） - Response.request属性的初始值。这表示Request生成此响应的内容。
属性和方法：
url
status
headers
body
request
meta：在构造response中，有request，response的meta就会返回其request的meta
flags
copy（）
replace（[ url，status，headers，body，request，flags，cls ] ）
urljoin（url ）:合并url
follow（url）
三、日志使用
在settings中，输入以下内容可设置日志
LOG_FORMAT='%(asctime)s [%(name)s] %(levelname)s:%(message)s'
LOG_DATEFORMAT='%Y'
项目中一般只设置以下两种参数：
LOG_FILE = ‘logfile_name’
LOG_LEVEL = ‘INFO’
asctime为ascii码时间，name组件名，DATEFORMAT只加%Y表示只显示年份的信息
除了以上的两种日志配置参数，下面还有可以输入的：
这些设置可用于配置日志记录：
LOG_FILE 日志输出文件，如果为None，就打印在控制台，一般为None
在pycharm窗口面操作打印时，内容都是输出在控制台上，主要因为LOG_FILE是关闭的，
只要给设置LOG_FILE=‘ 文件名’ 就可以存在对应的文件中，没有该文件会自动创建
LOG_ENABLED 是否启用日志，默认True，关闭后不发送到控制台，但可以发送到文件中
LOG_ENCODING 日期编码，默认utf-8
LOG_LEVEL 日志等级，默认debug（调试的意思）：默认为调试信息（debug为最低级调试）
调试信息DEBUG <一般信息INFO<警告WARNING<一般错误ERROR<严重错误CRITICAL
LOG_FORMAT 日志格式
LOG_DATEFORMAT 日志日期格式
LOG_STDOUT 日志标准输出，默认False，如果True所有标准输出都将写入日志中，true时就连print打印的东西也会写进日志，利于写入自己的一些想表述的内容
LOG_SHORT_NAMES 短日志名，默认为False，如果True将不输出组件名
一般日志存储在控制台，但存储时间不长，阅读也麻烦，所以可以记录在以下组件中：
在spider中记录：
Scrapy logger 在每个Spider实例中提供了一个可以访问和使用的实例
在其他组件中记录：
当然可以通过python的logging来记录。
比如：logging.warning(‘This is a warning!’)
在爬虫文件的实例方法里加入self.logging.warning（‘~~~~~~·······’）可以写入日志来做个标记，在其他组件中的实例方法里输入也可以用。
但是为了后期维护方面，我们可以创建不同的记录器来封装消息。
并且使用组件或函数的名称进行命名，见左图案例:
四、Github登录
请求流程：
向session的url提交post 用户名 密码等数据，获取登录页面
具体提交内容可查看页面代码的表单数据。
commit: Sign in
authenticity_token: JU/SqAIMuKu3rPzOQIpRTceVO31XU6Nw68DNPRqdvfoUTDVt1FBpR8lbsmqGLxhvtj4IloWy8EMvZshupa+9yw==
login: [email protected]
password: qweqqweqw
trusted_device:
webauthn-support: supported
webauthn-iuvpaa-support: supported
return_to:
allow_signup:
client_id:
integration:
required_field_0a14:
timestamp: 1611654568362
timestamp_secret: 376cea0b768fde0e5897b8995b2ab6ed62eabc56bd4b5f8ef01cb6a9a2e969a7
提交两次错误的密码，来找到上面的内容，然后进行对比，发现相同的就可以忽略不管，不同的就留着进行构造，键名不同但是没数据的可以不用管，时间戳（timestamp: 1611654568362）及timestamp_secret需要构造
需要构造参数获取的方式：
1、之前请求页面中获取
访问登录页面查看源代码，获取session需要的参数
2、js代码动态生成
现阶段不考虑
构造成功后，用formrequest类来请求比较方便
mark dic····· as 中source root可以把文件设置成该文件对应的目录下路径的相对参考系