爬虫之XPath基础篇

一点睛

XPath，全称XML Path Language，即XML路径语言，它是一门在XML文档中查找信息的语言。它最初是用来搜寻XML文档的，但是它同样适用于HTML文档的搜索。

所以在做爬虫时，我们完全可以使用XPath来做相应的信息抽取。

XPath的选择功能十分强大，它提供了非常简洁明了的路径选择表达式。另外，它还提供了超过100个内建函数，用于字符串、数值、时间的匹配以及节点、序列的处理等。几乎所有我们想要定位的节点，都可以用XPath来选择。

XPath于1999年11月16日成为W3C标准，它被设计为供XSLT、XPointer以及其他XML解析软件使用，更多的文档可以访问其官方网站：https://www.w3.org/TR/xpath/。

二 XPath常用规则

表达式	描述
nodename	选取此节点的所有子节点
/	从当前节点选取直接子节点
//	从当前节点选取子孙节点
.	选取当前节点
..	选取当前节点的父节点
@	选取属性

这里列出了XPath的常用匹配规则，示例如下：

//title[@lang='eng']

这就是一个XPath规则，它代表选择所有名称为title，同时属性lang的值为eng的节点。

后面会通过Python的lxml库，利用XPath进行HTML的解析。

三安装

(venv) E:\WebSpider>pip install lxml

四实战1

1 代码

# 导入lxml库的etree模块
from lxml import etree
# 声明了一段HTML文本
text = '''
<div>
    <ul>
         <li class="item-0"><a href="link1.html">first item</a></li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-inactive"><a href="link3.html">third item</a></li>
         <li class="item-1"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a>
     </ul>
</div>
'''
# 调用HTML类进行初始化，这样就成功构造了一个XPath解析对象
# 这里需要注意的是，HTML文本中的最后一个li节点是没有闭合的，但是etree模块可以自动修正HTML文本。
html = etree.HTML(text)
# tostring()方法即可输出修正后的HTML代码，但是结果是bytes类型。
result = etree.tostring(html)
# 这里利用decode()方法将其转成str类型
print(result.decode('utf-8'))

2 结果

E:\WebSpider\venv\Scripts\python.exe E:/WebSpider/4_1.py
<html><body><div>
    <ul>
         <li class="item-0"><a href="link1.html">first item</a></li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-inactive"><a href="link3.html">third item</a></li>
         <li class="item-1"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a>
     </li></ul>
</div>
</body></html>

3 说明

经过处理之后，li节点标签被补全，并且还自动添加了body、html节点。

五实战2

1 代码

from lxml import etree
# 直接读取文本文件进行解析
# test.html的内容就是上面例子中的HTML代码
html = etree.parse('./test.html', etree.HTMLParser())
result = etree.tostring(html)
print(result.decode('utf-8'))

2 运行

E:\WebSpider\venv\Scripts\python.exe E:/WebSpider/4_1.py
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN" "http://www.w3.org/TR/REC-html40/loose.dtd">
<html><body><div>&#13;
    <ul>&#13;
         <li class="item-0"><a href="link1.html">first item</a></li>&#13;
         <li class="item-1"><a href="link2.html">second item</a></li>&#13;
         <li class="item-inactive"><a href="link3.html">third item</a></li>&#13;
         <li class="item-1"><a href="link4.html">fourth item</a></li>&#13;
         <li class="item-0"><a href="link5.html">fifth item</a>&#13;
     </li></ul>&#13;
</div></body></html>

3 说明

这次的输出结果略有不同，多了一个DOCTYPE的声明，不过对解析无任何影响。

六所有结果

1 代码

from lxml import etree
html = etree.parse('./test.html', etree.HTMLParser())
# 一般会用//开头的XPath规则来选取所有符合要求的节点。
result = html.xpath('//*')
print(result)

2 运行结果

E:\WebSpider\venv\Scripts\python.exe E:/WebSpider/4_1.py
[<Element html at 0x24537313308>, <Element body at 0x24537313408>, <Element div at 0x24537313448>, <Element ul at 0x24537313488>, <Element li at 0x245373134c8>, <Element a at 0x24537313548>, <Element li at 0x24537313588>, <Element a at 0x245373135c8>, <Element li at 0x24537313608>, <Element a at 0x24537313508>, <Element li at 0x24537313648>, <Element a at 0x24537313688>, <Element li at 0x245373136c8>, <Element a at 0x24537313708>]

3 说明

这里使用*代表匹配所有节点，也就是整个HTML文本中的所有节点都会被获取。可以看到，返回形式是一个列表，每个元素是Element类型，其后跟了节点的名称，如html、body、div、ul、li、a等，所有节点都包含在列表中了。

七指定标签

1 代码

from lxml import etree
html = etree.parse('./test.html', etree.HTMLParser())
# 这里要选取所有li节点，可以使用//，然后直接加上节点名称即可，调用时直接使用xpath()方法即可。
result = html.xpath('//li')
print(result)
print(result[0])

2 运行结果

E:\WebSpider\venv\Scripts\python.exe E:/WebSpider/4_1.py
[<Element li at 0x1e53a1a3408>, <Element li at 0x1e53a1a3448>, <Element li at 0x1e53a1a3488>, <Element li at 0x1e53a1a34c8>, <Element li at 0x1e53a1a3508>]
<Element li at 0x1e53a1a3408>

3 说明

这里可以看到提取结果是一个列表形式，其中每个元素都是一个 Element对象。如果要取出其中一个对象，可以直接用中括号加索引，如[0]。

爬虫之XPath基础篇

猜你喜欢