# -*- coding: UTF-8 -*-
# author : kele
# time : 2018/12/24 22:13
# 环境python3.6
# etree 解析网页html代码的模块
from lxml import etree
# 1.获取源码
html = open('index.html', 'r', encoding='utf-8').read()
# 转换为Element对象
# 对html源代码进行解析,还可以用etree.HTML
# etree.parse()
html = etree.fromstring(html)
print(html)
# 通过标签名直接查找标签,使用//标签名,//从任何位置开始
# 返回的结果放在列表中,存放的的是Element对象
res = html.xpath('//a')
for ele in res:
# 获取ele的href属性值
# 获取标签的某个属性值,用@属性名,返回列表
href = ele.xpath('@href')[0]
# 获取标签内的文本内容
# text()获取标签内的文本
contents = ele.xpath('text()')[0]
res = html.xpath('//a/@href')
# //a/text() 只获取a标签直接文本,子标签内文本不会获取到
res = html.xpath('//a/text()')
print(res)
# //a//text() 获取该标签所有文本,包含子孙节点下的文本,将结果放入列表
res = html.xpath('//a//text()')
print(res)
# 通过标签的属性值查找标签
divs = html.xpath('//div[@id="main"]')
print(divs[0].xpath('text()'))
divs = html.xpath('//div[@class="t1"]')
for d in divs:
print(d.xpath('text()'))
# contains()找到某个属性包含某个属性值的标签
# * 任意标签
divs = html.xpath('//*[contains(@class, "red")]')
for d in divs:
print(d.xpath('text()'))
# li[num] num表示找到第几个li标签
lis = html.xpath('//ul[@id="bottom"]/li[1]')
# li[last()] 表示找到最后一个li标签
# li[last()-1] 找到倒数第二个
lis = html.xpath('//ul[@id="bottom"]/li[last()-1]')
for l in lis:
print(l.xpath('text()'))
xpath的基础语法
猜你喜欢
转载自blog.csdn.net/keer1303242749/article/details/85252860
今日推荐
周排行