urllib库基本使用

urlopen

# 导入urllib库
import urllib.request
# 指定的url发送请求，返回服务器响应的对象
response = urllib.request.urlopen("http://www.baidu.com/")
# read 方法读出响应的内容，返回字符串
print(response.read().decode("utf-8"))

实际上，如果我们在浏览器上打开百度主页，右键选择“查看源代码”，你会发现，跟我们刚才打印出来的是一模一样。也就是说，上面的4行代码就已经帮我们把百度的首页的全部代码爬了下来。

Request

urlopen()的参数有url地址，data参数，timeout参数，但是如果需要执行更复杂的操作，比如增加HTTP报头，必须创建一个 Request 实例来作为urlopen()的参数；而需要访问的url地址则作为 Request 实例的参数。

# 导入urllib库
import urllib.request

# url 作为Request()方法的参数，构造并返回一个Request对象
request = urllib.request.Request("http://www.baidu.com/")

# 指定的url发送请求，返回服务器响应的对象
response = urllib.request.urlopen(request)

# read 方法读出响应的内容，返回字符串
print(response.read().decode("utf-8"))

运行结果和上面是完全一样的

新建Request实例，除了必须要有 url 参数之外，还可以设置另外两个参数：

data(默认为空) ：是伴随url要提交的数据（比如post的数据）
headers（默认空）：是以字典的形式，包含要发送给HTTP报头的键值对

Uesr-Agent

我们用一个合法的身份去请求别人网站，所以我们就应该给我们的这个代码加上一个身份，就是所谓的User-Agent头。

# 导入urllib库
import urllib.request

headers = {
    "User-Agent":
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;"
}
# url 作为Request()方法的参数，附带User-Agent构造并返回一个Request对象
request = urllib.request.Request("http://www.baidu.com/", headers=headers)

# 指定的url发送请求，返回服务器响应的对象
response = urllib.request.urlopen(request)

# read 方法读出响应的内容，返回字符串
print(response.read().decode("utf-8"))

添加更多的heade信息

可以通过调用Request.add_header()添加或修改一个特定的header，也可以用Request.get_header()来查看已有的header。

添加特定的header

# 导入urllib库
import urllib.request

headers = {
    "User-Agent":
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;"
}
# url 作为Request()方法的参数，附带User-Agent构造并返回一个Request对象
request = urllib.request.Request("http://www.baidu.com/", headers=headers)

# 修改headers
request.add_header("Connection", "keep-alive")

# 获得User_Agent  
print(request.get_header("Connection"))
# 注意只有第一个字母大写
# print(request.get_header(header_name="User-agent"))

# 指定的url发送请求，返回服务器响应的对象
response = urllib.request.urlopen(request)

# 打印状态码
print(response.code)

输出结果如下

keep-alive
200

[Done] exited with code=0 in 0.55 seconds

get和post 方法

发送get请求时，需要将字符编码，编码工作使用urllib。parse的urlencode()函数，帮我们将key:value这样的键值对转换成”key=value”这样的字符串。解码工作可以使用urllib。parse的unquote()函数

# ipython中的测试结果
In [1]: import urllib.parse

In [2]: data = {"wd" : "python"}

In [3]: urllib.parse.urlencode(data)
Out[3]: 'wd=python'

In [4]: data1 = {"wd" : "你好世界"}

In [5]: urllib.parse.urlencode(data1)
Out[5]: 'wd=%E4%BD%A0%E5%A5%BD%E4%B8%96%E7%95%8C'

In [6]: print(urllib.parse.unquote('wd=%E4%BD%A0%E5%A5%BD%E4%B8%96%E7%95%8C')
   ...: )
wd=你好世界

get方式

GET请求一般用于我们向服务器获取数据，比如说，我们用百度搜索清华大学：https://www.baidu.com/s?wd=清华大学

https://www.baidu.com/s?wd=%E6%B8%85%E5%8D%8E%E5%A4%A7%E5%AD%A6)

在其中我们可以看到在请求部分里，http://www.baidu.com/s? 之后出现一个长长的字符串，其中就包含我们要查询的关键词清华大学，于是我们可以尝试用默认的Get方式来发送请求

# 导入urllib库
import urllib.request
import urllib.parse

headers = {
    "User-Agent":
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;"
}
url = "http://www.baidu.com/s?"
word = {"wd": "清华大学"}

# urlencode 编码
word = urllib.parse.urlencode(word)

# 拼接完整的url
fullurl = url + word
request = urllib.request.Request(fullurl, headers=headers)

# 指定的url发送请求，返回服务器响应的对象
response = urllib.request.urlopen(request)

# 打印返回内容
print(response.read().decode("utf-8"))

部分返回结果

<html>
    <head>

        <meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1">
        <meta http-equiv="content-type" content="text/html;charset=utf-8">
        <meta content="always" name="referrer">
        <meta name="theme-color" content="#2932e1">
        <link rel="shortcut icon" href="/favicon.ico" type="image/x-icon" />
        <link rel="icon" sizes="any" mask href="//www.baidu.com/img/baidu_85beaf5496f291521eb75ba38eacbd87.svg">
        <link rel="search" type="application/opensearchdescription+xml" href="/content-search.xml" title="百度搜索" />


<title>清华大学_百度搜索</title>

小事例爬取贴吧页面数据

随便打开一个贴吧，比如知乎吧，可以发现
第一页的网址：http://tieba.baidu.com/f?kw=%E7%9F%A5%E4%B9%8E&ie=utf-8&pn=0
第二页的网址：http://tieba.baidu.com/f?kw=%E7%9F%A5%E4%B9%8E&ie=utf-8&pn=50
第三页的网址：http://tieba.baidu.com/f?kw=%E7%9F%A5%E4%B9%8E&ie=utf-8&pn=100
有所变化的仅仅是后面的pn的值（0>>50>>100）,所以只需改变pn值即可爬取每一页

提示用户输入要爬取的贴吧名，并用urllib.parse.urlencode()进行转码，然后组合url.


# 导入urllib库
import urllib.request
import urllib.parse


def tiebaSpider(url, page):
    headers = {
        "User-Agent":
        "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;"
    }

    request = urllib.request.Request(url, headers=headers)

    # 指定的url发送请求，返回服务器响应的对象
    response = urllib.request.urlopen(request)

    # 打印返回内容
    print(response.read().decode("utf-8"))
    '''
    # 可以把每一页的内容记录下来
    filename = str(page) + ".html"
    with open(fielname, 'w', encoding="utf-8") as f:
        f.write(response.read().decode("utf-8"))

    '''


def startWorking():
    # 一个完整的url的地址：http://tieba.baidu.com/f?kw=%E7%9F%A5%E4%B9%8E&ie=utf-8&pn=50

    url = "http://tieba.baidu.com/f?"
    wd = input("请输入要爬去的贴吧：")
    start = int(input("请输入爬取起始页："))
    end = int(input("请输入爬取结束页："))
    word = {"kw": wd}
    # urlencode 编码
    word = urllib.parse.urlencode(word)

    # 每一页的pn值不同，要改变pn的值
    for page in range(start, end + 1):
        fullurl = url + word + '&ie=utf-8&pn=' + str((page - 1) * 50)
        tiebaSpider(fullurl, page)


if __name__ == "__main__":
    startWorking()