python爬虫学习之requests_01

---恢复内容开始---

1、Requests库的get()方法

　　requests.get(url,params=None,**kwargs)

　　　　url：拟获取页面上的url链接

　　　　params：url中的额外参数，字典或字节流格式，可选

　　　　**kwargs：12个控制访问的参数

import requests
r = requests.get('https://www.baidu.com')
#检测状态请求的状态码 200则成功，反之则失败
print(r.status_code)
#检测r的类型
type(r)
#返回get请求页面的头部信息
r.headers

　　Response对象的属性

　　Response的编码

　　r.encoding：如果header中不存在charset,则认为编码为ISO-8859-1

　　r.apparent_encoding：根据网页内容分析出的编码方式

　　

　　Requests库的异常

import requests
def getHTMLText(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()#如果状态不是200，则引发 HTTPError异常
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return '产生异常'
if __name__ == '__main__':
    url = 'http://www.baidu.com'
    print(getHTMLText(url))

---恢复内容结束---