版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/weixin_39104294/article/details/83387765
Requests库的安装
在cmd下输入命令进行安装
pip install requests
测试Requests库的效果，将百度的首页通过文本形式输出
>>> import requests#导入Requests库
>>> r = requests.get("http://www.baidu.com")#用Requests库里的get方法获取百度的网页
>>> r.status_code#获取当前网页的状态码
200
>>> r.encoding = 'utf-8'#将编码格式改为utf-8
>>> r.text#以文本格式输出
u'<!DOCTYPE html>\r\n<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=http://s1.bdstatic.com/r/www/cache/bdorz/baidu.min.css><title>\u767e\u5ea6\u4e00\u4e0b\uff0c\u4f60\u5c31\u77e5\u9053</title></head> <body link=#0000cc> <div id=wrapper> <div id=head> <div class=head_wrapper> <div class=s_form> <div class=s_form_wrapper> <div id=lg> <img hidefocus=true src=//www.baidu.com/img/bd_logo1.png width=270 height=129> </div> <form id=form name=f action=//www.baidu.com/s class=fm> <input type=hidden name=bdorz_come value=1> <input type=hidden name=ie value=utf-8> <input type=hidden name=f value=8> <input type=hidden name=rsv_bp value=1> <input type=hidden name=rsv_idx value=1> <input type=hidden name=tn value=baidu><span class="bg s_ipt_wr"><input id=kw name=wd class=s_ipt value maxlength=255 autocomplete=off autofocus></span><span class="bg s_btn_wr"><input type=submit id=su value=\u767e\u5ea6\u4e00\u4e0b class="bg s_btn"></span> </form> </div> </div> <div id=u1> <a href=http://news.baidu.com name=tj_trnews class=mnav>\u65b0\u95fb</a> <a href=http://www.hao123.com name=tj_trhao123 class=mnav>hao123</a> <a href=http://map.baidu.com name=tj_trmap class=mnav>\u5730\u56fe</a> <a href=http://v.baidu.com name=tj_trvideo class=mnav>\u89c6\u9891</a> <a href=http://tieba.baidu.com name=tj_trtieba class=mnav>\u8d34\u5427</a> <noscript> <a href=http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u=http%3A%2F%2Fwww.baidu.com%2f%3fbdorz_come%3d1 name=tj_login class=lb>\u767b\u5f55</a> </noscript> <script>document.write(\'<a href="http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u=\'+ encodeURIComponent(window.location.href+ (window.location.search === "" ? "?" : "&")+ "bdorz_come=1")+ \'" name="tj_login" class="lb">\u767b\u5f55</a>\');</script> <a href=//www.baidu.com/more/ name=tj_briicon class=bri style="display: block;">\u66f4\u591a\u4ea7\u54c1</a> </div> </div> </div> <div id=ftCon> <div id=ftConw> <p id=lh> <a href=http://home.baidu.com>\u5173\u4e8e\u767e\u5ea6</a> <a href=http://ir.baidu.com>About Baidu</a> </p> <p id=cp>©2017 Baidu <a href=http://www.baidu.com/duty/>\u4f7f\u7528\u767e\u5ea6\u524d\u5fc5\u8bfb</a> <a href=http://jianyi.baidu.com/ class=cp-feedback>\u610f\u89c1\u53cd\u9988</a> \u4eacICP\u8bc1030173\u53f7 <img src=//www.baidu.com/img/gs.gif> </p> </div> </div> </div> </body> </html>\r\n'Requests库的7个主要方法
| 方法 | 解释 |
| requests.request() | 构造一个请求，支持以下各种方法的基础方法 |
| requests.get() | 获取html的主要方法，对应于HTTP的GET |
| requests.head() | 获取html头部信息的主要方法，对应于HTTP的HEAD |
| requests.post() | 向html网页提交post请求的方法，对应于HTTP的POST |
| requests.put() | 向html网页提交put请求的方法，对应于HTTP的PUT |
| requests.patch() | 向html提交局部修改的请求，对应于HTTP的PATCH |
| requests.delete() | 向html提交删除请求，对应于HTTP的DELETE |
| r.status_code |
http请求的返回状态，200表示连接成功，404表示连接失败 |
| r.text |
http响应内容的字符串形式，即url对应的页面内容 |
| r.encoding |
从HTTP header中猜测的响应内容编码方式 |
| r.apparent_encoding |
从内容分析出的响应内容的编码方式（备选编码方式） |
| r.content |
HTTP响应内容的二进制形式 |
| r.headers |
http响应内容的头部内容 |
下面讲解下r.encoding和r.apparent_encoding两个属性。r.encoding是在爬取网页时猜测网页的默认编码，如果在headr中没有设置charset，则默认认为是ISO-8859-1。但是对于在headr中设置了chatset的网页，我们用默认编码去爬取结果可能出现乱码。这时我们就要通过r.apparent_encoding查看网页的备选编码。再通过r.encoding把爬取时的编码修改为headr中设置的charset编码，再用t.text得到正确的输出结果。下面以爬取baidu首页为例：
>>> import requests
>>> r = requests.get("http://www.baidu.com")#获取百度的页面 返回一个名为r的Response对象
>>> r.text#以文本格式查看
u'<!DOCTYPE html>\r\n<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=http://s1.bdstatic.com/r/www/cache/bdorz/baidu.min.css><title>\xe7\x99\xbe\xe5\xba\xa6\xe4\xb8\x80\xe4\xb8\x8b\xef\xbc\x8c\xe4\xbd\xa0\xe5\xb0\xb1\xe7\x9f\xa5\xe9\x81\x93</title></head> <body link=#0000cc> <div id=wrapper> <div id=head> <div class=head_wrapper> <div class=s_form> <div class=s_form_wrapper> <div id=lg> <img hidefocus=true src=//www.baidu.com/img/bd_logo1.png width=270 height=129> </div> <form id=form name=f action=//www.baidu.com/s class=fm> <input type=hidden name=bdorz_come value=1> <input type=hidden name=ie value=utf-8> <input type=hidden name=f value=8> <input type=hidden name=rsv_bp value=1> <input type=hidden name=rsv_idx value=1> <input type=hidden name=tn value=baidu><span class="bg s_ipt_wr"><input id=kw name=wd class=s_ipt value maxlength=255 autocomplete=off autofocus></span><span class="bg s_btn_wr"><input type=submit id=su value=\xe7\x99\xbe\xe5\xba\xa6\xe4\xb8\x80\xe4\xb8\x8b class="bg s_btn"></span> </form> </div> </div> <div id=u1> <a href=http://news.baidu.com name=tj_trnews class=mnav>\xe6\x96\xb0\xe9\x97\xbb</a> <a href=http://www.hao123.com name=tj_trhao123 class=mnav>hao123</a> <a href=http://map.baidu.com name=tj_trmap class=mnav>\xe5\x9c\xb0\xe5\x9b\xbe</a> <a href=http://v.baidu.com name=tj_trvideo class=mnav>\xe8\xa7\x86\xe9\xa2\x91</a> <a href=http://tieba.baidu.com name=tj_trtieba class=mnav>\xe8\xb4\xb4\xe5\x90\xa7</a> <noscript> <a href=http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u=http%3A%2F%2Fwww.baidu.com%2f%3fbdorz_come%3d1 name=tj_login class=lb>\xe7\x99\xbb\xe5\xbd\x95</a> </noscript> <script>document.write(\'<a href="http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u=\'+ encodeURIComponent(window.location.href+ (window.location.search === "" ? "?" : "&")+ "bdorz_come=1")+ \'" name="tj_login" class="lb">\xe7\x99\xbb\xe5\xbd\x95</a>\');</script> <a href=//www.baidu.com/more/ name=tj_briicon class=bri style="display: block;">\xe6\x9b\xb4\xe5\xa4\x9a\xe4\xba\xa7\xe5\x93\x81</a> </div> </div> </div> <div id=ftCon> <div id=ftConw> <p id=lh> <a href=http://home.baidu.com>\xe5\x85\xb3\xe4\xba\x8e\xe7\x99\xbe\xe5\xba\xa6</a> <a href=http://ir.baidu.com>About Baidu</a> </p> <p id=cp>©2017 Baidu <a href=http://www.baidu.com/duty/>\xe4\xbd\xbf\xe7\x94\xa8\xe7\x99\xbe\xe5\xba\xa6\xe5\x89\x8d\xe5\xbf\x85\xe8\xaf\xbb</a> <a href=http://jianyi.baidu.com/ class=cp-feedback>\xe6\x84\x8f\xe8\xa7\x81\xe5\x8f\x8d\xe9\xa6\x88</a> \xe4\xba\xacICP\xe8\xaf\x81030173\xe5\x8f\xb7 <img src=//www.baidu.com/img/gs.gif> </p> </div> </div> </div> </body> </html>\r\n'
>>> r.encoding#以文本格式查看到的结果含有乱码，则查看当前网页的默认编码是否为utf-8
'ISO-8859-1'
>>> r.apparent_encoding#得到的，默认编码不是utf-8，则查看网页的备选编码方式
'utf-8'
>>> r.encoding = 'utf-8'#将编码格式调成utf-8格式
>>> r.textrequests库的get方法
构造一个向服务器请求资源的Response对象，通过这个方法会返回一个Response对象包含服务器资源。下面的Response对象叫做r，我们可以通过调用方法来访问r中的数据。Response类十分重要
r=requests.get(url,params,**kwargs)- url: 需要爬取的网站地址
- params: 翻译过来就是参数， url中的额外参数，字典或者字节流格式，可选
- **kwargs : 12个控制访问的参数
用Requests库中的get方法获得网页资源并一定都成功，这时就会抛出异常。下面列出Requests库的异常
| 异常 | 说明 |
| requests.ConnectionError | 网络连接错误异常，如DNS查询失败、拒绝连接等 |
| requests.HTTPError | HTTP错误异常 |
| requests.URLRequired | URL缺失异常 |
| requests.TooManyRedirects | 超过最大重定向次数，产生重定向异常 |
| requests.ConnectTimeout | 远程连接服务器超时异常 |
| requests.Timeout | 请求URL超时，产生超时异常 |
| r.raise_for_status() | 这个方法检测异常，检测返回的Response对象的状态码。如果状态码是200，则表示返回的内容是争取的。如果不是200，则会返回一个requests.HTTPEorror的异常 |