目录
一、Requests的安装
二、Request的使用
- 1、提取目标网站的代码
- 2、Request基本请求方式
- 3、Requests库的get（）方法
- 4、Response 对象的属性
- 5、理解Requests库和Response的异常
- 6、爬取网页的通用代码框架
- 7、HTTP协议
三、爬取中国大学排名
Requests
Requests是用python语言基于urllib编写的，采用的是Apache2 Licensed开源协议的HTTP库
一、Requests的安装
pip install requests
二、Request的使用
1、提取目标网站的代码
import requests
req = requests.get("https://www.baidu.com")
print(req.text)
2、Request基本请求方式
| 方法 | 说明 |
|---|---|
| requests.request() | 构造一个请求，支撑以下各方法的基础方法 |
| requests.get() | 获取HTML网页的主要方法，对应于HTTP的GET |
| requests.head() | 获取HTML网页头信息的方法，对应于HTTP的HEAD |
| requests.post() | 向HTML网页提交POST请求的方法，对应于HTTP的POST |
| requests.put() | 向HTML网页提交PUT请求的方法，对应于HTTP的PUT |
| requests.patch() | 向HTML网页提交局部修改请求，对应于HTTP的PATCH |
| requests.delete() | 向HTML页面提交删除请求，对应于HTTP的DELETE |
3、Requests库的get（）方法
requests.get(url, params=None, **kwargs)
- url : 拟获取页面的url链接
- params : url中的额外参数，字典或字节流格式，可选
- **kwargs: 12个控制访问的参数
比如：
import requests
params= {'key1': 'value1', 'key2': 'value2'}
req = requests.get("http://httpbin.org/get", params=params)
# 方法二
# req = requests.get("http://httpbin.org/get?key2=value2&key1=value1")
print(req.url)
4、Response 对象的属性
| 属性 | 说明 |
|---|---|
| r.status_code | HTTP请求的返回状态，200表示连接成功，404表示失败 |
| r.text | HTTP响应内容的字符串形式，即，url对应的页面内容 |
| r.encoding | 从HTTP header中猜测的响应内容编码方式 |
| r.apparent_encoding | 从内容中分析出的响应内容编码方式（备选编码方式） |
| r.content | HTTP响应内容的二进制形式 |
练习：
说明：
- r.encoding：如果header中不存在charset，则认为编码为ISO‐8859‐1
- r.text根据r.encoding显示网页内容
- r.apparent_encoding：根据网页内容分析出的编码方式，可以看作是r.encoding的备选
5、理解Requests库和Response的异常
（1）Requests库的异常
| 异常 | 说明 |
|---|---|
| requests.ConnectionError | 网络连接错误异常，如DNS查询失败、拒绝连接等 |
| requests.HTTPError | HTTP错误异常 |
| requests.URLRequired | URL缺失异常 |
| requests.TooManyRedirects | 超过最大重定向次数，产生重定向异常 |
| requests.ConnectTimeout | 连接远程服务器超时异常 |
| requests.Timeout | 请求URL超时，产生超时异常 |
（2）Response异常
| 异常 | 说明 |
|---|---|
| r.raise_for_status() | 如果不是200，产生异常 requests.HTTPError |
- r.raise_for_status()在方法内部判断r.status_code是否等于200，不需要
增加额外的if语句，该语句便于利用try‐except进行异常处理
6、爬取网页的通用代码框架
import requests
def getHTML(url):
try:
r = requests.get(url,timeout=30)
r.raise_for_status()#如果不是200，引发HTTPRError异常
r.encoding = r.apparent_encoding
return r.text
except:
return "产生异常"
if __name__ =='__main__':
url = "http://www.baidu.com"
print(getHTML(url))
7、HTTP协议
（1）对HTTP的认识
HTTP，Hypertext Transfer Protocol，超文本传输协议，HTTP是一个基于“请求与响应”模式的、无状态的应用层协议，HTTP协议采用URL作为定位网络资源的标识，URL格式如下：
http://host[:port][path]
- host: 合法的Internet主机域名或IP地址
- port: 端口号，缺省端口为80
- path: 请求资源的路径
（2）HTTP协议对资源的操作
| 方法 | 说明 |
|---|---|
| GET | 请求获取URL位置的资源 |
| HEAD | 请求获取URL位置资源的响应消息报告，即获得该资源的头部信息 |
| POST | 请求向URL位置的资源后附加新的数据 |
| PUT | 请求向URL位置存储一个资源，覆盖原URL位置的资源 |
| PATCH | 请求局部更新URL位置的资源，即改变该处资源的部分内容 |
| DELETE | 请求删除URL位置存储的资源 |
三、爬取中国大学排名
import requests
from bs4 import BeautifulSoup
import bs4
#获取页面信息
def getdaxue(url):
try:
r = requests.get(url,timeout = 30)
r.raise_for_status()#如果不是200，引发HTTPRError异常
r.encoding = r.apparent_encoding
return r.text
except:
return ""
#提取网页内容信息
def filldaxue(ulist,html):
soup = BeautifulSoup(html,"html.parser")
for tr in soup.find("tbody").children:
if isinstance(tr,bs4.element.Tag):
tds = tr('td')
ulist.append([tds[0].string,tds[1].string,tds[3].string])
#打印输出结果
def printdaxue(ulist,num):
tplt = "{0:^10}\t{1:{3}^10}\t{2:^10}"
print(tplt.format("排名","学校名称","总分",chr(12288)))
for i in range(num):
u = ulist[i]
print(tplt.format(u[0],u[1],u[2],chr(12288))) #解决中文对齐：采用中文字符的空格填充 chr(12288)
#主函数
def main():
uinfo = [] ##待放入数据的列表
url = "http://www.zuihaodaxue.com/zuihaodaxuepaiming2019.html"
html = getdaxue(url)
filldaxue(uinfo,html)
printdaxue(uinfo,20)
main()
嵩天老师的python网络爬虫与信息提取的笔记！
安利一个学习网站：爬虫
