利用python爬虫(part12)--随机获取UserAgent

学习笔记

---

fake_useragent模块

通常，我都是自己在网上找User-Agent，然后写一个模块，把收集到的User-Agent一股脑塞进这个模块中，爬虫的时候再import这个模块，随机调用模块里的User-Agent。

现在，有一个fake_useragent模块，可以在线随机生成User-Agent供我们使用，似不似很方便？

• 语法

from fake_useragent import UserAgent
ua = UserAgent()
user_agent = ua.random

• 举个例子

我们向测试网站(http://httpbin.org/get, 当我们向这个网站发起请求时，网站会返回我们的请求头)发起请求, 并打印出网站响应给我们的内容：

from fake_useragent import UserAgent
import requests

url = 'http://httpbin.org/get'
ua = UserAgent()
headers = {'User-Agent':ua.random}
html = requests.get(url, headers = headers).content.decode('utf-8')
print(html)

输出：

{
  "args": {}, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Host": "httpbin.org", 
    "User-Agent": "Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 7.0; InfoPath.3; .NET CLR 3.1.40767; Trident/6.0; en-IN)", 
    "X-Amzn-Trace-Id": "Root=1-5e915065-2d8689c8c024b608cb156ba0"
  }, 
  "origin": "60.171.97.20", 
  "url": "http://httpbin.org/get"
}

[Finished in 4.1s]

可以看到fake_useragent模块的确帮助我们生成了一个User-Agent。