python爬虫添加请求头部信息

1.通过添加urllib.request.Request中的headers参数

#先把要用到的信息放到一个字典中
headers = {}
headers['User-Agent'] = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) .......'
headers['......'] = '........'

#生成一个请求报文，这里的url和data需要提前给定
req = urllib.request.Request(url,data,headers)

#使用这个报文去请求网页，这时请求的报文中就带有浏览器标识了
html = urllib.request.urlopen(req).read()

2.通过urllib.request.Request的add_header方法添加

#生成请求报文，这里先不加入header参数
req = urllib.request.Request(url,reqdata)

#通过返回的请求对象添加header头，这里是个元祖，不是字典
req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; Win64; x64)')

#这时再去请求就是带有浏览器标识的报文了
html = urllib.request.urlopen(req).read()