三、requests模块处理cookie的相关请求

1、爬虫中使用cookie

为了能够通过爬虫获取到登录后的页面，或者是解决通过cookie的反扒，需要使用request来处理cookie相关的请求

1.1 爬虫中使用cookie的利弊

（1）带上cookie的好处

能够访问登录后的页面
能够实现部分反反爬
（2）带上cookie的坏处
一套cookie往往对应的是一个用户的信息，请求太频繁有更大的可能性被对方识别为爬虫

那么上面的问题如何解决 ?使用多个账号

1.2 requests处理cookie的方法

使用requests处理cookie有三种方法：

cookie字符串放在headers中
把cookie字典放传给请求方法的cookies参数接收
使用requests提供的session模块

2 cookie添加在heades中

2.1 headers中cookie的位置

在这里插入图片描述
headers中的cookie：

使用分号(;)隔开
分号两边的类似a=b形式的表示一条cookie
a=b中，a表示键（name），b表示值（value）
在headers中仅仅使用了cookie的name和value

2.2 cookie的具体组成的字段

在这里插入图片描述

由于headers中对cookie仅仅使用它的name和value，所以在代码中我们仅仅需要cookie的name和value即可

2.3 在headers中使用cookie

复制浏览器中的cookie到代码中使用

headers = {
"User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36","Cookie":" Pycharm-26c2d973=dbb9b300-2483-478f-9f5a-16ca4580177e;Hm_lvt_98b9d8c2fd6608d564bf2ac2ae642948=1512607763; Pycharm-26c2d974=f645329f-338e-486c-82c2-29e2a0205c74;_xsrf=2|d1a3d8ea|c5b07851cbce048bd5453846445de19d|1522379036"}
requests.get(url,headers=headers)

githup通过headers携带cookie获取登陆页面

import requests

url = 'https://github.com/zhangyoufu163'

headers = {
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36",
    "Cookie": "_ga=GA1.2.706448449.1543284036; _octo=GH1.1.797238050.1543284037; has_recent_activity=1; _gat=1; tz=Asia%2FShanghai; user_session=tkdv8BXWuBJX0Y3cXl728eLKa0NDINmjd1F2T1AtkiuLJSgC; __Host-user_session_same_site=tkdv8BXWuBJX0Y3cXl728eLKa0NDINmjd1F2T1AtkiuLJSgC; logged_in=yes; dotcom_user=zhangyoufu163; _gh_sess=Q2srQkZQZXBDREhSbzRHNUVGaHMvZmxjSlBTR2c0Znk4T2t4dWV1TWQ4RDVCTml0N3BicVdBZ2tTR1grTkhiV2x0WXBXVTM0YVhheU02MXg1NE5WOThNZGpPRmdGUEJ1K29UT25oalZUMmlNWVNpdTFtdnNOMW9iSUR2dlBJVUU5Sk1rbllORy9HMWc5bUdPMTl5ODJNZmVSNXZtaFp4enc5bXJkM3FIbGZmQnhCL2tOM3VnR004RmI4TEV2eUVuLS1JZHlkZFNPTjl3VDJEeFlTbzl1aHlBPT0%3D--9f982831874aac63d39c920d29cdc256364f550a"
}

response = requests.get(url, headers= headers)

print(response.text)
"""
登录成功的状态
<title>zhangyoufu163</title>
"""

注意：
cookie有过期时间，所以直接复制浏览器中的cookie可能意味着下一程序继续运行的时候需要替换代码中的cookie，对应的我们也可以通过一个程序专门来获取cookie供其他程序使用；当然也有很多网站的cookie过期时间很长，这种情况下，直接复制cookie来使用更加简单

3 使用cookies参数接收字典形式的cookie

cookies的形式：字典

cookies = {"cookie的name":"cookie的value"}

使用方法：

requests.get(url,headers=headers,cookies=cookie_dict}

githup通过cookies参数携带cookie获取登陆后的页面

import requests

url = 'https://github.com/zhangyoufu163'

headers = {
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36",
}

cookie_str = "_ga=GA1.2.706448449.1543284036; _octo=GH1.1.797238050.1543284037; has_recent_activity=1; _gat=1; tz=Asia%2FShanghai; user_session=tkdv8BXWuBJX0Y3cXl728eLKa0NDINmjd1F2T1AtkiuLJSgC; __Host-user_session_same_site=tkdv8BXWuBJX0Y3cXl728eLKa0NDINmjd1F2T1AtkiuLJSgC; logged_in=yes; dotcom_user=zhangyoufu163; _gh_sess=Q2srQkZQZXBDREhSbzRHNUVGaHMvZmxjSlBTR2c0Znk4T2t4dWV1TWQ4RDVCTml0N3BicVdBZ2tTR1grTkhiV2x0WXBXVTM0YVhheU02MXg1NE5WOThNZGpPRmdGUEJ1K29UT25oalZUMmlNWVNpdTFtdnNOMW9iSUR2dlBJVUU5Sk1rbllORy9HMWc5bUdPMTl5ODJNZmVSNXZtaFp4enc5bXJkM3FIbGZmQnhCL2tOM3VnR004RmI4TEV2eUVuLS1JZHlkZFNPTjl3VDJEeFlTbzl1aHlBPT0%3D--9f982831874aac63d39c920d29cdc256364f550a"
cookie_dict = {
    list.split("=")[0]:list.split("=")[1] for list in cookie_str.split(";")
}

response = requests.get(url, headers= headers,cookies = cookie_dict)

print(response.text)
"""
登录成功的状态
<title>zhangyoufu163</title>
"""

4 使用requests.session处理cookie

前面使用手动的方式使用cookie，那么有没有更好的方法在requets中处理cookie呢？

requests 提供了一个叫做session类，来实现客户端和服务端的会话保持

import re
import requests


session = requests.session()

# get请求login页面
url = 'https://github.com/login'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36'
}

response = session.get(url, headers = headers)

# 获取 authenticity_token
authenticity_token = re.search('name="authenticity_token" value="(.*?)" />', response.text).group(1)
print(authenticity_token)

# 构造请求体参数
data = {
    'commit': 'Sign in',
    'utf8': '✓',
    'authenticity_token': authenticity_token,
    'login': 'zhangyoufu163',
    'password':'zhangyoufu17835395081'
}

# 登录界面session
url1 = 'https://github.com/session'
session.post(url=url1, headers=headers, data=data)

# 登录自动携带cookie进入登陆后的页面
url2 = 'https://github.com/zhangyoufu163'
resp = session.get(url=url2, headers=headers)
print(resp.text)

会话保持有两个内涵：

保存cookie，下一次请求会带上前一次的cookie
实现和服务端的长连接，加快请求速度

4.1 使用方法

session = requests.session()
response = session.get(url,headers)

session实例在请求了一个网站后，对方服务器设置在本地的cookie会保存在session中，下一次再使用session请求对方服务器的时候，会带上前一次的cooki。

4.2 动手练习：

动手尝试使用session来登录人人网： http://www.renren.com/PLogin.do (先不考虑这个url地址从何而来)，请求体的格式：{“email”:“username”, “password”:“password”}

思路分析

准备url地址和请求参数
构造session发送post请求
使用session请求个人主页，观察是否请求成功