爬虫应用:
基于python的requests+lxml,lxml中有xpath语法,功能强大,定位准确
Xpath用法:
在 XPath 中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档（根）节点。XML 文档是被作为节点树来对待的;
| 表达式 | 描述 |
| nodename | 选取此节点的所有子节点 |
| / | 从根节点选取,一层一层筛选 |
| // | 文档任何位置都能找到文档中的节点,递归筛选 |
| . | 选取当前节点 |
| .. | 选取当前节点的父节点 |
| @ | 选取属性 |
谓语:
| 路径表达式 | 结果 |
| //div/a[1] | 选取属于div子元素下的a标签的第一个 |
| //div/a[last()] | 选取属于div下子元素的a标签的最后一个 |
| //div/a[last()-1] | 选取属于div下子元素的a标签的倒数第二个 |
| //div/a[position()<3] | 选取最前面两个属于div元素的子元素的a标签 |
| //div[@lang='eng'] | 属性选取,一般有class,id,自定义属性 |
| //div/a[price>35.00] | 选取div下的a标签的price大于35 |
选取未知节点:
* 匹配任何元素节点
@*匹配任何属性节点
node()匹配任何类型的节点
| 路径表达式 | 结果 |
|---|---|
| /bookstore/* | 选取 bookstore 元素的所有子元素。 |
| //* | 选取文档中的所有元素。 |
| //title[@*] | 选取所有带有属性的 title 元素。 |
选取若干路径
通过在路径表达式中使用“|”运算符，您可以选取若干个路径。
//book/title | //book/price 选取 book 元素的所有 title 和 price 元素。
//title | //price 选取文档中的所有 title 和 price 元素。
/bookstore/book/title | //price 选取属于 bookstore 元素的 book 元素的所有 title 元素，以及文档中所有的 price 元素。
三、轴
轴可定义相对于当前节点的节点集;
| 轴名称 | 结果 |
|---|---|
| ancestor | 选取当前节点的所有先辈（父、祖父等）。 |
| ancestor-or-self | 选取当前节点的所有先辈（父、祖父等）以及当前节点本身。 |
| attribute | 选取当前节点的所有属性 |
| child | 选取当前节点的所有子元素 |
| descendant | 选取当前节点的所有后代元素（子、孙等） |
| descendant-or-self | 选取当前节点的所有后代元素（子、孙等）以及当前节点本身 |
| following | 选取文档中当前节点的结束标签之后的所有节点 |
| namespace | 选取当前节点的所有命名空间节点 |
| parent | 选取当前节点的父节点 |
| preceding | 选取文档中当前节点的开始标签之前的所有节点 |
| preceding-sibling | 选取当前节点之前的所有同级节点 |
| self | 选取当前节点 |
例子：
| 例子 | 结果 |
| child::book | 选取所有属于当前节点的子元素的 book 节点 |
| attribute::lang | 选取当前节点的 lang 属性 |
| child::* | 选取当前节点的所有子元素 |
| attribute::* | 选取当前节点的所有属性 |
| child::text() | 选取当前节点的所有文本子节点 |
| child::node() | 选取当前节点的所有子节点 |
| descendant::book | 选取当前节点的所有 book 后代 |
| ancestor::book | 选择当前节点的所有 book 先辈 |
| ancestor-or-self::book | 选取当前节点的所有 book 先辈以及当前节点（如果此节点是 book 节点） |
| child::*/child::price | 选取当前节点的所有 price 孙节点 |
四、一些函数
1. starts-with函数
获取以xxx开头的元素
例子：xpath(‘//div[stars-with(@class,”test”)]’)
2 contains函数
获取包含xxx的元素
例子：xpath(‘//div[contains(@id,”test”)]’)
3 and
与的关系
例子：xpath(‘//div[contains(@id,”test”) and contains(@id,”title”)]’)
4 text()函数
例子1：xpath(‘//div[contains(text(),”test”)]’)
例子2：xpath(‘//div[@id=”“test]/text()’)
