xpath用法

# xpath：跟re, bs4, pyquery一样，都是页面数据提取方法。根据元素的路径来查找页面元素。

# pip install lxml

# element tree: 文档树对象
from lxml.html import etree
from fake_useragent import UserAgent


html = """
    <div id='content'>
        <ul class='list'>
            <li class='one'>One</li>
            <li class='two'>Two</li>
            <li class='three'>Three</li>
            <li class='four four1 four2 four3'>Four</li>
            <div id='inner'>
                <a href='http://www.baidu.com'>百度一下</a>
                <p>第一段</p>
                <p>第2段</p>
                <p>第3段</p>
                <p>
                    第4段
                    <span>法大师傅大师傅</span>
                </p>
                <p>第5段</p>
                <p>第6段</p>
            </div>
        </ul>
    </div>
"""

obj = etree.fromstring(html)

# 将一个Html文件解析成为对象。
# obj = etree.parse('index.html')

print(type(obj))

# //ul: 从obj中查找ul，不考虑ul所在的位置。
# /li: 找到ul下边的直接子元素li，不包含后代元素。
# [@class="one"]: 给标签设置属性，用于过滤和筛选

# xpath()返回的是一个列表
one_li = obj.xpath('//ul/li[@class="one"]')[0]

# 获取one_li的文本内容
print(one_li.xpath('text()')[0])

# 上述写法的合写方式
print(obj.xpath('//ul/li[@class="one"]/text()')[0])

# 获取所有li的文本内容：all_li = obj.xpath('//ul/li/text()')

# 获取所有li的文本内容以及class属性的值
all_li = obj.xpath('//ul/li')
for li in all_li:
    class_value = li.xpath('@class')[0]
    text_value = li.xpath('text()')[0]
    print(class_value, text_value)

# 获取div标签内部的所有文本
# //text()：获取所有后代元素的文本内容
# /text()：获取直接子元素的文本，不包含后代元素
print(obj.xpath('//div[@id="inner"]//text()'))


# 获取ul中第一个li  [1]: 位置
print(obj.xpath('//ul/li[1]/text()'))

# 查找类名中包含four的li的文本内容
print(obj.xpath('//ul/li[contains(@class, "four")]/text()'))