urllib库是Python内置的HTTP请求库,包含四个模块:
- request:最基本的HTTP请求模块,可以用来模拟发送请求。
- error:异常处理模块,包含request模块HTTP请求过程抛出的异常
- parse:一个工具模块,提供了许多URL处理的方法,比如拆、解析、合并等
- robotparser:主要用来识别网站的robot.txt文件,然后判断网站哪些部分可以爬取
发送请求
urllib.request.urlopen():
urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)
- url:请求的网址,必选参数
- data:可选参数,如果设定,则该请求为POST请求方法。data必须为字节流数据(可用内置函数bytes()方法转换为字节流),数据内容如果是字典,可以通过parse模块的urlencode()方法将其转换为url格式的字符串
- timeout:可选参数,设置请求超时时间,单位为秒
- cafile:可选参数,CA证书文件
- capath:CA证书路径
- cadefault:python3中已经弃用
- context:可选参数,指定SSL设置,必须为ssl.SSLContext类型
import urllib.request import urllib.parse name = bytes(urllib.parse.urlencode({"name":"Jane"}),encoding = "utf-8") response = urllib.request.urlopen("https://www.python.org",data = name,timeout = 1)
urllib.request.Request()
urllib.request.open()方法可以实现最基本的请求,但是该方法中只有几个参数,有时候不能满足我们的要求。因此我们可以通过urllib.request.Request()构建一个请求
Request(url, data=None, headers={}, origin_req_host=None, unverifiable=False, method=None)
- url:必选参数,请求的网址
- data:可选参数,如果设定,则该请求为POST请求方法。data必须为字节流数据(可用内置函数bytes()方法转换为字节流),数据内容如果是字典,可以通过parse模块的urlencode()方法将其转换为url格式的字符串
- headers:可选参数,请求头
- origin_req_host:客户端主机名称或者IP地址
- unverifiable:用户没有足够的权限接收这个请求的结果,默认为False,即我们有权限接收
- method:请求方法
from urllib import request,parse headers = { "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36", "accept-encoding":"gzip", "Cookie":"_ga=GA1.2.1498502246.1545274514" } data = bytes(parse.urlencode({"Language":"Python"}),encoding = "utf-8") my_request = request.Request("https://www.python.org",headers = headers,data = data,method = "POST") response = request.urlopen(my_request)
handler和opener
常用的handler:
- HTTPDefaultErrorHandler:用于处理HTTP响应错误,错误都会抛出HTTPError类型的异常
- HTTPRedirectHandler:用于处理重定向
- HTTPCookieProcessor:用于处理Cookies
- ProxyHandler:用于设置代理,默认代理为空
- HTTPPasswordMgr:用于管理密码,维护用户名与密码的表单
- HTTPBasicAuthHandler:用于管理认证,如果打开一个连接需要认真,那么可以用它来解决认证的问题
- HTTPHandler:用来用处URL
opener:
urllib.request.
build_opener
([handler, ...]):实例化一个opener,使用各种功能的处理器urllib.request.
install_opener
(opener) :设定一个全局opener,即程序里所有的请求都调用该opener
自定义的一般步骤:
- 使用相关功能的Handle处理器,来创建特定功能的处理器对象
- 然后通过如request.build_opener()方法,来使用这些处理器对象,创建自定义opener对象
- 使用自定义的opener对象,调用其open()方法向服务器发送请求
from urllib import request http_handler = request.HTTPHandler() # 实例化一个具有处理url功能的处理器 my_opener = request.build_opener(http_handler) # 创建一个能使用该处理器的opener,此时该opener就具备了处理url功能 response = my_opener.open("https://www.python.org")
# 设置代理 from urllib import request my_proxy = {"http":"120.76.55.49:8088"} proxy_handler = request.ProxyHandler(my_proxy) proxy_opener = request.build_opener(proxy_handler) response = proxy_opener.open("https://www.python.org") #如果有多个代理 from urllib import request import random my_proxies = [ {"http" : "124.88.67.81:80"}, {"http" : "124.88.67.81:80"}, {"http" : "124.88.67.81:80"}, {"http" : "124.88.67.81:80"}, {"http" : "124.88.67.81:80"} ] proxy = random.choice(my_proxies) proxy_handler = request.ProxyHandler(proxy) proxy_opener = request.build_opener(proxy_handler) response = proxy_opener.open("https://www.python.org")
平时我们设置Cookies都是在输入账户、密码登录之后,然后在浏览器保存这些信息(Cookies),然后再去查看源码找到这个Cookies(抓包),然后将它加入到请求头,根据源码再构建的请求。
而用handler的话,对于python2来说可以用cookielib模块和urllib.request.HTTPCookieProcessor来处理,对于cookielib模块有四个对象。在python3中,替换为http.cookiejar库,四个子类,同python2四个对象相同:
- CookieJar:管理HTTP cookie值、存储HTTP请求生成的cookie、向传出的HTTP请求添加cookie的对象。整个cookie都存储在内存中,对CookieJar实例进行垃圾回收后cookie也将丢失。
- FileCookieJar:FileCookieJar(filename,delayload=None,policy=None):从CookieJar派生而来,用来创建FileCookieJar实例,检索cookie信息并将cookie存储到文件中。filename是存储cookie的文件名。delayload为True时支持延迟访问文件,即只有在需要时才读取文件或在文件中存储数据。
- MozillaCookieJar:MozillaCookieJar(filename, delayload=None, policy=None):从FileCookieJar派生而来,创建与Mozilla浏览器 cookies.txt兼容的FileCookieJar实例
- LWPCookieJar:LWPCookieJar(filename, delay=None, policy=None):从FileCookieJar派生而来,创建与libwww-perl标准的Set-Cookie3文件格式兼容的FileCookieJar实例。
python2中基本用法:
from urllib import request import cookielib cookiejar = cookielib.CookieJar() # 创建一个Cookiejar对象来保存cookie cookie_handler = request.HTTPCookieProcessor(cookiejar) # 创建一个cookie处理器对象 my_opener = request.build_opener(cookie_handler) # 创建一个opener来使用这个处理器 response = my_opener.open("https://www.baidu.com")
python3中基本用法(CookieJar()):
from urllib import request from http import cookiejar my_cookiejar = cookiejar.CookieJar() # CookieJar()可以管理,储存HTTP请求生成的cookie,我们把这个保存的cookie实例化 my_cookiehandler = request.HTTPCookieProcessor(my_cookiejar) # 创建一个处理cookiejar的处理器,也就是处理器处理这个cookie opener = request.build_opener(my_cookiehandler) # 创建一个opener,此时这个opener就包含了这个cookie response = opener.open("https://www.baidu.com")
大多数情况我们使用CookieJar(),但是如果需要同本地文件进行交互(也就是从本地读取,或者在本地创建),那么可以使用MozillaCookieJar()和LWPCookieJar(),两者用法一样,只需要将MozillaCookieJar和LWPCookieJar名称互换
from urllib import request from http import cookiejar my_cookiejar = cookiejar.MozillaCookieJar(file) # 创建一个符合Mozilla浏览器标准的cookiejar对象,叫做my_cookiejar,此时它是一个对象,一个MozillaCookieJar实例化对象。file,即我们要创建的cookie文件的文件名字 my_cookiehandler = request.HTTPCookieProsessor(my_cookiejar) # 创建一个处理这个cookiejar实例的处理器对象 openr = request.build_opener(my_cookiehandler) # 创建一个opener,来使用这个处理器对象 response = opener.open("https://www.baidu.com") # sava()将这个实例化对象my_cookiejar包含的cookies信息,保存成本地文件,文件名之前已经确定了。另外,还可以通过load()方法从一个文件导入cookies # save()方法中两个参数,ignore_discard:保存需要被丢弃的cookies;ignore_expires:保存过期的cookies # 通过下面代码可以发现本地电脑中创建了一个名为cookie的文本文件 my_cookiejar.save(ignore_discard = True,ignore_expires = True)
对于某些网站需要输入账户、密码才能访问,此处我们可以用HTTPPasswordMgrWithDefaultReadlm(管理账户、密码)、HTTPBasicAuthHandler
from urllib import request username = "Maria" password = "123456" np = request.HTTPPasswordMgrWithDefaultReadlm() # 创建一个账户密码管理器对象 np.add_password(username,password) # 账户密码管理器中加入账户密码 auth_handler = request.HTTPBasicAuthHandler(np) # 创建一个验证该账户密码的处理器对象 opener = request.build_opener(auth_handler) response = opener.open("https://www.baidu.com")
异常
异常:urrlib库的error模块定义了由request模块产生的异常,如果request模块应用过程出现了问题,request模块便会抛出error模块定义的异常。即,error模块能捕获request模块使用过程中出现的问题,error模块主要有三类:
- ContentTooShortError
- HTTPError
- URLError
urllib.error.URLError
当各种处理器(handler)运行出现问题的时候,一般是没有网络连接或者是无法连接服务器处理器会抛出异常。它是OSError的子类,它具有一个属性:reason
reason:这个错误的原因,它可以是一个字符信息或者是一个异常实
urllib.error.HTTPError
它是URLError的子类,这一种异常通常是连接服务器后,服务器响应出现问题,如返回错误信息或者重定向错误,网页验证错误等等。虽然它是一个异常,但是它也可以像非异常文件样的函数方法一样返回(像urlopen()方法返回值一样),这在处理外部HTTPError非常有用,比如 说验证请求错误。这个类包含三个属性:code、reason、headers
code:HTTP状态码
reason:通常是一个字符串信息,解释这个错误的原因
headers:导致HTTPError的HTTP请求后服务器返回的HTTP响应的头部信息。
urllib.error.ContentTooShort
当urlretrieve()函数检测到下载的数据量小于预期(这个预期在头部信息,Content-Length给定)时,抛出该异常。其中,content属性储存着下载的(或删减过后的)数据
from urllib import request from urllib import error try: response = request.urlopen("https://www.sdkfjla.com") except error.URLError as ue: print(ue.reson) print(ue) except error.HTTPError as he: print(he.code) print(he.reason) print(he.headers) print(he) except Exception as e: print(e)