Xpath+lxml简单教程

具体使用可以看可以参考W3school-Xpath:
主要是在源代码上查看相关的标签:
在这里插入图片描述在这里插入图片描述###xpath学习重点
-使用xpath helper 或者是chrome中的copy xpath 都是element中提取的数据,但是爬虫获取的url对应的响应往往和element不一样。
-获取文本
-‘a/text()’ 获取a下的文本
-‘a//text()’获取a下的所有标签文本
-‘//a[text()=‘下一页’]’选择文本为下一页三个字的a标签
-获取属性
-‘//’
-在xpath开始的时候表示当前html中任意位置开始选择
-‘li//a’表示li下任何一个标签

###lxml能够修正html代码,但是可能会改错了
lxml能够接受bytes和str的字符串
-lxml能够修正html代码,但是可能会改错了
-使用etree.tostring观察修改之后的html的样子,根据修改以后的html字符串写xpath

-提取页面数据的思路
-先分组,取到一个包含分组标签的列表
-遍历,取其中每一组进行数据的提取,不会造成数据的对应错乱

发布了16 篇原创文章 · 获赞 0 · 访问量 504

猜你喜欢

转载自blog.csdn.net/zhanlong11/article/details/104790967
今日推荐