爬虫--requests模块高级(代理和cookie操作)

代理和cookie操作

一.基于requests模块的cookie操作

引言：有些时候，我们在使用爬虫程序去爬取一些用户相关信息的数据（爬取张三“人人网”个人主页数据）时，如果使用之前requests模块常规操作时，往往达不到我们想要的目的，例如：

cookie会话跟踪技术，服务端产生发给客户端保存，再次访问服务器，浏览器就携带这个cookie，让服务器识别客户端浏览器

爬取张三用户的豆瓣网的个人主页页面数据--没有测试成功

- cookie:基于用户的用户数据
- 需求：爬取张三用户的豆瓣网的个人主页页面数据
- cookie作用：服务器使用cookie来记录客户端的状态信息
实现流程：
1.执行登录操作(获取cookie)
2.发起个人主页请求时，需要将cookie携带到该请求中
注意：session对象

import requests

session = requests.session()
# 1.发起登录请求：将cookie获取，切换存储到session对象中
login_url = 'https://accounts.douban.com/login'
# post 请求 ---data参数
data = {
'source':'movie',
'redir':'https://movie.douban.com/',
'form_email':'',
'form_password':'',
'login':'登录',
}

headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}
# 使用session发起请求
login_response = session.post(url=login_url,data=data,headers=headers)

# 2.发起个人主页请求(session(cookie))，获取响应页面数据
url = 'https://www.douban.com/people/188197188/'
response = session.get(url=url,headers=headers)
page_text = response.text
with open('./douban110.html','w',encoding='utf-8')as f:
    f.write(page_text)

代理操作

- 1.代理：第三方代理本体执行相关的事务。生活：代购
- 2.为什么要使用代理
　　- 反爬操作，非正常访问的ip禁止
　　- 反反爬手段--设置爬虫的代理ip
- 3.分类：
　　- 正向代理：代替客户端获取数据--爬虫客户端程序-正向代理
　　- 反向代理：代理服务器端提供数据
- 4.免费代理ip的网站提供商
　　- www.goubanjia.com 推荐
　　- 快代理
　　- 西祠代理
- 5.代码

----------------------------------------------------------

import requests

url = 'http://www.baidu.com/s?ie=utf-8&wd=ip'
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}
# 将代理ip封装到字典中
proxy = {
    'http':'112.25.6.26:80'
}

# 更换网络ip，发起请求之前
response = requests.get( url=url,proxies=proxy,headers=headers)
with open('./daili.html','w',encoding='utf-8')as f:
    f.write(response.text)

执行后结果：

验证处理--打码平台

登陆的次数过多就会出现验证码