urllib库的使用（二）

前面说过, urllib库里还提供了 parse模块,它定义了处理URL的标准接口,例如实现URL各部分的抽取、合并以及链接转换。它支持如下协议的URL处理:fle、fp、gopher、hdlhttp、htps、imap、mailto、mms、news、ntp、 prospero、 rsync、rtsp、 rtsp、sftp、sip、sips、 snews、Svn、Svn+ssh、 telnet和wais。

解析链接

urlparse()

该方法可以实现URL的识别和分段，示例如下：

from urllib.parse import urlparse

result = urlparse("http://www.baidu.com/index.html;user?id=5#comment")
print(type(result),result)

可以发现, uniparse()方法将其拆分成了6个部分。大体观察可以发现,解析时有特定的分隔符。比如,:/前面的就是 scheme,代表协议;第一个/符号前面便是 netloc,即域名,后面是path,即访问路径;分号;前面是 params,代表参数;问号?后面是查询条件 query,一般用作GET类型的URL;井号#后面是锚点,用于直接定位页面内部的下拉位置。
urlparse()的API

urllib. parse. urlparse(urlstring, scheme=, allow fragments=-True)

可以看到,它有3个参数。

unstring:这是必填项,即待解析的URL。
scheme它是默认的协议(比如http或https等)。假如这个链接没有带协议信息,会将这个作为默认的协议。scheme参数只有在URL中不包含scheme信息时才生效。如果URL中有scheme信息,就会返回解析出的scheme
allow fragments:即是否忽略 fragment。如果它被设置为 False,fragment部分就会被忽略,它会被解析为path、 parameters或者 query的一部分,而 fragment部分为空。

返回结果ParseResult实际上是一个元组,我们可以用索引顺序来获取,也可以用属性名获取。

urlunparse()

有了 uniparse(),相应地就有了它的对立方法 urlunparse()。它接受的参数是一个可迭代对象,但是它的长度必须是6,否则会抛出参数数量不足或者过多的问题。先用一个实例看一下

from urllib.parse import urlunparse
data = ["http","www.baidu.com","index.html","user","a=6","comment"]
print(urlunparse(data))

urlsplit()

这个方法和 uniparse()方法非常相似,只不过它不再单独解析 params这一部分,只返回5个结果。区别是params会合并到path中。示例如下:
返回结果是SplitResult，它其实也是一个元组类型，既可以是用属性获取值，也可以用索引来获取

from urllib.parse import urlsplit

result = urlsplit("http://www.baidu.com/index.html;user?id=5#comment")
print(result,result.scheme,result[0],sep="\n")

urlunsplit()

与 urlunparse()类似,它也是将链接各个部分组合成完整链接的方法,传入的参数也是一个可迭代对象,例如列表、元组等,唯一的区别是长度必须为5。示例如下

from urllib.parse import urlunsplit
data = ["http","www.baidu.com","index.html","a=6","comment"]
print(urlunsplit(data))

urljoin()

此外,生成链接还有另一个方法,那就是 urljoin()方法。我们可以提供一个 base ur1(基础链接)作为第一个参数,将新的链接作为第二个参数,该方法会分析 base ur1的 scheme、 netloc和path这3个内容并对新链接缺失的部分进行补充,最后返回结果。
通过urljoin()方法,我们可以轻松实现链接的解析、拼合与生成。

from urllib.parse import urljoin

print(urljoin('http://www.baidu.com','faq.htm1'))
print(urljoin('http://www.baidu.com','https://cuiqingcai.com/faq.htm1'))
print(urljoin('http://www.baidu.com/about.htmi','httPs://cuiqingcai.com/faq.htm1'))
print(urljoin('http://www.baidu.com/about.html','https://cuiqingcai.com/faq.html?question=2'))
print(urljoin('http://www.baidu.com?wd=abc','https://cuiqingcai.com/index.php'))
print(urljoin('http://www.baidu.com','?category=2#fcomment'))
print(urljoin('www.baidu.com','?category=2#tcomment'))
print(urljoin('www baidu comtf comment','?category=2'))

可以发现, base_url提供了三项内容 scheme、netlc和path如果这3项在新的链接里不存在,就予以补充;如果新的链接存在,就使用新的链接的部分。而 base_ur1中的 params、query和fragment是不起作用的。

urlencode()

它在构造GET请求参数时非常有用，示例如下：

from urllib.parse import urlencode

params = {
    'name': "germy",
    'age' : "23"
}
base_url = "http://www/ifeng/com?"
url = base_url + urlencode(params)
print(url)

这个方法非常常用。有时为了更加方便地构造参数,我们会事先用字典来表示。要转化为URL的参数时,只需要调用该方法即可。

parse_qs()

有了序列化,必然就有反序列化。如果我们有一串GET请求参数,利用 parse qs()方法,就可以将它转回字典,示例如下:

from urllib.parse import parse_qs

query = "name=germy&age=23"
print(parse_qs(url))

parse_qsl()

它用于将参数转化为元组组成的列表,示例如下

from urllib.parse import parse_qsl

query = "name=germy&age=22"
print (parse_qsl(query ))

运行结果是一个列表,而列表中的每一个元素都是一个元组,元组的第一个内容是参数名,第二个内容是参数值。

quote()

该方法可以将内容转化为URL编码的格式。URL中带有中文参数时,有时可能会导致乱码的问题,此时用这个方法可以将中文字符转化为URL编码,示例如下

from urllib.parse import quote
keyword='壁纸'
url='https://www.baidu.com/s?wd=' + quote(keyword)
print(url)

unquote()

有了quote()方法，当然有unquote()方法，它可以进行URL解码

from urllib.parse import unquote

url = "https://www.baidu.com/s?wd=%E5%A3%81%E7%BA%B8"
print(unquote(url))

分析Robots协议

利用urllib的robotparser模块，我们可以实现网站Robots协议的分析。

Robots 协议

Robots协议也称作爬虫协议、机器人协议,它的全名叫作网络爬虫排除标准( Robots ExclusionProtocol),用来告诉爬虫和搜索引擎哪些页面可以抓取,哪些不可以抓取。它通常是一个叫作 robots txt的文本文件,一般放在网站的根目录下。
当搜索爬虫访问一个站点时,它首先会检查这个站点根目录下是否存在 robots. txt文件,如果存在,搜索爬虫会根据其中定义的爬取范围来爬取。如果没有找到这个文件,搜索爬虫便会访问所有可直接访问的页面。

robotparser

了解 Robots协议之后,我们就可以使用 robotparser模块来解析 robots txt了。该模块提供了一个类 Robot FileParser,它可以根据某网站的 robots. txt文件来判断一个爬取爬虫是否有权限来爬取这个网页。
该类用起来非常简单,只需要在构造方法里传人 robots txt的链接即可。首先看一下它的声明:

lib.robotparser.RobotFileParser(url='')

当然,也可以在声明时不传入,默认为空,最后再使用set_url()方法设置一下也可。
下面列出这个类的常用的几个方法

set url():用来设置 robots. txt文件的链接。如果在创建RobotFileparser对象时传入了链接,那么就不需要再使用这个方法设置了。
read():读取 robots. txt文件并进行分析。注意,这个方法执行一个读取和分析操作,如果不调用这个方法,接下来的判断都会为False,所以一定记得调用这个方法。这个方法不会返回任何内容,但是执行了读取操作。
parse():用来解析 robots. txt文件,传人的参数是 robots. txt某些行的内容,它会按照 robots.txt的语法规则来分析这些内容
can fetch():该方法传入两个参数,第一个是user- agent,第二个是要抓取的URL。返回的内容是该搜索引擎是否可以抓取这个URL,返回结果是True或 False。
mtime():返回的是上次抓取和分析 robots.txt的时间,这对于长时间分析和抓取的搜索爬虫是很有必要的,你可能需要定期检查来抓取最新的 robots.txt
modified():它同样对长时间分析和抓取的搜索爬虫很有帮助,将当前时间设置为上次抓取和分析 robots. txt的时间。

    from urllib.robotparser import RobotFileParser
    
    rp = RobotFileParser()
    rp.set_url("http://www.jianshu.com/robots.txt")
    rp.read()
    print(rp.can_fetch('*','http://www.jianshu.com/p/b67554025d7d'))
    print(rp.can_fetch('*',"http://www.jianshu.com/search?q=python&page=1&type=collections"))