【Python3 爬虫学习笔记】基本库的使用 7 —— 使用requests

抓取二进制数据

前面我们抓取知乎的一个页面，实际上它返回的是一个HTML文档。如何抓取图片、音频、视频？

图片、音频、视频这些文件本质上都是由二进制码组成的，由于有特定的保存格式和对应的解析方式，我们才可以看到这些形形色色的多媒体，所以要抓取它们，就要拿到它们的二进制码。
抓取GItHub的站点图标：

import requests

r = requests.get("https://github.com/favicon.ico")
print(r.text)
print(r.content)

这里打印了Response对象的两个属性，一个是text，另一个是content。
如果按照以上的代码，text属性会出现乱码，content前面会出现一个b，这代表bytes类型的数据。由于图片时二进制数据，所以前者在打印时转化为str类型，也就是图片直接转化为字符串，所以会出现乱码。

将提取的图片保存下来：

import requests

r = requests.get("https://github.com/favicon.ico")
with open('favicon.ico', 'wb') as f:
    f.write(r.content)

这里用了open()方法，它的第一个参数是文件名称，第二个参数代表以二进制写的形式打开，可以向文件里写入二进制数据。
运行结束之后，可以发现在文件夹中出现了名为favicon.ico的图标。

1.3 POST请求

import requests

data = {'name':'germey', 'age':'22'}
r = requests.post("http://httpbin.org/post", data=data)
print(r.text)

运行结果：

{
  "args": {},
  "data": "",
  "files": {},
  "form": {
    "age": "22",
    "name": "germey"
  },
  "headers": {
    "Accept": "*/*",
    "Accept-Encoding": "gzip, deflate",
    "Connection": "close",
    "Content-Length": "18",
    "Content-Type": "application/x-www-form-urlencoded",
    "Host": "httpbin.org",
    "User-Agent": "python-requests/2.18.4"
  },
  "json": null,
  "origin": "221.216.169.171",
  "url": "http://httpbin.org/post"
}

1.4 响应

发送请求后，得到的自然就是响应。在上面的实例中，我们使用text和content获取了响应的内容。刺猬，还有很多属性和方法可以用来获取其他信息，比如状态码、响应头、Cookies等。示例如下：

import requests

r = requests.get('http://www.jianshu.com')
print(type(r.status_code), r.status_code)
print(type(r.headers), r.headers)
print(type(r.cookies), r.cookies)
print(type(r.url), r.url)
print(type(r.history), r.history)

这里分别打印输出status_code属性得到状态码，输出headers属性得到响应头，输出cookies属性得到Cookies，输出url属性得到URL，输出history属性得到请求历史。
运行结果如下：

状态码常用来判断请求是否成功，而requests还提供了一个内置的状态码查询对象requests.codes。

2.2 高级用法

2.2.1 文件上传

requests可以模拟提交一些数据。同样也可以使用requests上传文件，示例如下：

import requests

files = {'file':open('favicon.ico', 'rb')}
r = requests.post("http://httpbin.org/post", files=files)
print(r.text)

2.2.2 Cookies

import requests

r = requests.get("https://www.baidu.com")
print(r.cookies)
for key, value in r.cookies.items():
    print(key + '=' + value)

运行结果：

这里首先调用cookies属性即可成功得到Cookies，可以发现它是RequestCookiesJar类型。然后用items()方法将其转化Wie元组组成的列表，便利输出每一个Cookie的名称和值，实现Cookie的遍历解析。

2.2.3 会话维持

在requests中，如果直接利用get()或post()等方法的确可以做到模拟网页的请求，但是这实际上是相当远不同的会话，也就是说相当于你用了两个浏览器打开了不同的页面。
维持同一个会话，要打开一个新的浏览器选项卡而不是新开一个浏览器。使用Session对象。
利用Session，可以做到模拟同一个会话而不用担心Cookies的问题，它通常用于模拟登陆成功之后再进行下一步的操作。
一个示例

import requests

s = requests.Session()
s.get('http://httpbin.org/cookies/set/number/123456789')
r = s.get('http://httpbin.org/cookies')
print(r.text)

运行结果：

{
  "cookies": {
    "number": "123456789"
  }
}

2.2.4 SSL证书验证

requests提供了证书验证的功能。当发送HTTP请求的时候，它会检查SSL证书，我们可以使用verify参数控制是否检查此证书。如果不加verify参数的话，默认是True，会自动验证。

import requests

response = requests.get('https://www.12306.cn', verify=False)
print(response.status_code)

2.2.5 代理设置

对于某些网站，在测试的时候请求几次，能正常获取内容。但是一旦开始大规模爬取，对于大规模且频繁的请求，网站可能会弹出验证码，或者跳转到登录认证页面，更甚者可能会直接封禁客户端的IP，导致一定时间段内无法访问。
为了防止这种情况发生，需要设置代理来解决这个问题，这就需要用到proxies参数。
可以用这样的方式设置：

import requests

proxies = {
    "http":"http://10.10.1.10:2128",
    "https":"http://10.10.1.10:1080",
}
requests.get("https://www.taobao.com", proxies=proxies)

这个代理可能无效，需要换成有效代理。

若代理需要使用HTTP Basic Auth，可以使用类似http://user:password@host:port 这样的语法来设置代理，示例如下：

import requests

proxies = {
    "http":"http://user:[email protected]:3128/",
}
requests.get("https://www.taobao.com", proxies=porxies)

除了基本的HTTP代理外，requests还支持SOCKS协议的代理。
首先需要安装socks这个库：
pip3 install ‘requests[socks]’
然后就可以使用SOCKS协议代理了，示例如下：

import requests

proxies = {
    'http':'socks5://user:password@host:port',
    'https':'socks5://user:password@host:port'
}
requests.get("https://www.taobao.com", proxies=proxies)

2.2.6 超时设置

在本机网络状况不好或者服务器网络响应太慢甚至无响应时，可能会等待特别久的时间才可能收到响应，甚至到最后收不到响应而报错。为了防止服务器不能及时响应，应该设置一个超时时间，即超过了这个时间还没有得到响应，那就报错。这需要用到timeout参数。这个时间的计算是发出请求到服务器返回响应的时间。示例如下：

import requests

r = requests.get("https://www.taobao.com", timeout = 1)
print(r.status_code)

通过这样的方式，可以将超时时间设置为1秒，如果1秒内没有响应，就会抛出异常。
实际上，请求分为两个阶段，即连接(connect)和读取(read)。上面设置的timeout将用作连接和读取这二者的timeout总和。
如果要分别指定，就可以传入一个元组：

r = requests.get('https://www.taobao.com', timeout=(5,11,30))

如果想永远等待，可以直接将timeout设置为None，或者不设置直接留空，因为默认是None。这样的话，如果服务器还在运行，但是响应特别慢，就只能慢慢等，它将永远不会返回超时错误的。其用法如下：

r = requests.get("https://www.taobao.com', timeout=None)

2.2.7 身份认证

在访问网站时，可能需要认证，此时可以使用requests自带的身份认证功能，示例如下：

import requests
from requests.auth import HTTPBasicAuth

r = requests.get('http://localhost:5000', auth=HTTPBasicAuth('username', 'password')
print(r.status_code)

如果用户名和密码正确的话，请求时就会自动认证成功，会返回200状态码；如果认证失败，则返回401状态码。
当然，如果参数都传一个HTTPBasicAuth类，就显得烦琐，所以requests提供了一个更简单的写法，可以直接传一个元组，它hi默认使用HTTPBasicAuth这个类来认证。

import requests

r = requests.get('http://localhost:5000', auth=('username', 'password'))
print(r.status_code)

此外，requests还提供了其他认证方式，如OAuth认证，不过此时需要安装oauth包，安装命令如下：

pip3 install requests_oauthlib

使用OAuth1认证的方法如下：

import requests
from requests_oauthlib import OAuth1

url = 'https://api.twitter.com/1.1/account/verify_credentials.json'
auth = OAuth1('YOUR_APP_KEY', 'YOUR_APP_SECRET', 'USER_OAUTH_TOKEN', 'USER_OAUTH_TOKEN_SECRET')
requests.get(url, auth=auth)

2.2.8 Prepared Request

使用urllib时，可以将请求表示为数据结构，其中各个参数都可以通过一个Request对象来表示。在requests里同样可以做到，这个数据结构就叫Prepared Request。示例如下：

from requests import Request, Session

url = 'http://httpbin.org/post'
data = {
    'name':'germey'
}
headers = {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36'}
s = Session()
req = Request('POST', url, data=data, headers=headers)
prepped = s.prepare_request(req)
r = s.send(prepped)
print(r.text)

这里引入了Request，然后用url、data和headers参数构造了一个Request对象，这时需要再调用Session的prepare_request()方法将其转换为一个Prepared Request对象，然后调用send()方法发送即可，运行结果如下：

{
  "args": {},
  "data": "",
  "files": {},
  "form": {
    "name": "germey"
  },
  "headers": {
    "Accept": "*/*",
    "Accept-Encoding": "gzip, deflate",
    "Connection": "close",
    "Content-Length": "11",
    "Content-Type": "application/x-www-form-urlencoded",
    "Host": "httpbin.org",
    "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36"
  },
  "json": null,
  "origin": "221.216.169.171",
  "url": "http://httpbin.org/post"
}

有了Request这个对象，就可以将请求当作独立的对象来看待，这样在进行队列调度时会非常方便。