（四）requests模块的cookies 和代理操作

一.基于requests模块的cookie操作

引言：有些时候，我们在使用爬虫程序去爬取一些用户相关信息的数据（爬取某个人“人人网”个人主页数据）时，如果使用之前requests模块常规操作时，往往达不到我们想要的目的

例如：我们要得到如下的形式

但是,我们通过之前所学习的知识

import requests
# 人人网个人信息页面的url
url = 'http://www.renren.com'

# 伪装UA
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'
}
# 发送请求，获取响应对象
response = requests.get(url=url, headers=headers)
# 将响应内容写入文件
with open('./renren.html', 'w', encoding='utf-8') as fp:
    fp.write(response.text)

得到的是,

呀呀呀什么原因啊? 不是我想要的啊

不急不急,,我们分析一下啊

当用户通过浏览器首次访问一个域名时，访问的web服务器会给客户端发送数据，以保持web服务器与客户端之间的状态保持,这些数据就是cookies,,,我们之所以没有拿到我们想要的页面数据,其实就是cookies搞得,既然我们知道了病症在哪里,我们就可以对症下药了

回顾cookies:

cookie概念：当用户通过浏览器首次访问一个域名时，访问的web服务器会给客户端发送数据，以保持web服务器与客户端之间的状态保持，这些数据就是cookie。

cookie作用：我们在浏览器中，经常涉及到数据的交换，比如你登录邮箱，登录一个页面。我们经常会在此时设置30天内记住我，或者自动登录选项。那么它们是怎么记录信息的呢，
　　　　　　 答案就是今天的主角cookie了，Cookie是由HTTP服务器设置的，保存在浏览器中，但HTTP协议是一种无状态协议，在数据交换完毕后，服务器端和客户端的链接就会关闭，
　　　　　　每次交换数据都需要建立新的链接。就像我们去超市买东西，没有积分卡的情况下，我们买完东西之后，超市没有我们的任何消费信息，但我们办了积分卡之后，超市就有了我们的消费信息。
　　　　   cookie就像是积分卡，可以保存积分，商品就是我们的信息，超市的系统就像服务器后台，http协议就是交易的过程。

ok 回答上面的问题,我们如何获取某个人的个人页面?

思路:

1.我们需要使用爬虫程序对人人网的登录时的请求进行一次抓取，获取请求中的cookie数据(也就是post请求,可以使用抓包工具)

2.在使用个人信息页的url进行请求时，该请求需要携带 1 中的cookie，只有携带了cookie后，服务器才可识别这次请求的用户信息，方可响应回指定的用户信息页数据

　　2.1创建一个session对象[session=request.session()],该对象可以发起请求,可以自动将请求后的创建cookies进行储存

　　2.2我们用session发送post请求和get请求

import requests
# 创建一个session对象，该对象会自动将请求中的cookie进行存储和携带
session = requests.session()
# 进行登录---抓包工具来抓取
url = 'http://www.renren.com/ajaxLogin/login?1=1&uniqueTimestamp=20181112117492'

data = {
    'email': '[email protected]',
    'icode': '',
    'origURL': 'http://www.renren.com/home',
    'domain': 'renren.com',
    'key_id': '1',
    'captcha_type': 'web_login',
    'password': '708cfa72a3e30bc6d11811f0544e2349254cd09be8476db8a700c1e039d2b5f2',
    'rkey': '3f39d976fc598199c3e29b75c713bf2e',
    'f': 'http%3A%2F%2Fwww.renren.com%2F447007586'
}

headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'
}
# 使用session发送请求，目的是为了将session保存该次请求中的cookie
res = session.post(url=url, headers=headers, data=data)

# 再次使用session进行请求的发送，该次请求中已经携带了cookie
person_url = 'http://www.renren.com/447007586'
person_res = session.get(url=person_url, headers=headers).text

with open('./renren.html', 'w', encoding='utf-8') as fp:
    fp.write(person_res)