上接：
Python3网络爬虫教程12——页面解析及正则表达式的使用
https://blog.csdn.net/u011318077/article/details/86633330
5. BeautifulSoup4使用
- BeautifulSoup4
- 官方文档地址：
https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/#id7 - 几个常用提取信息工具的比较
- 正则：很快，但是正则表达式很难完美写出
- beautifulsoup4: 慢，使用简单，安装简单，数据较少时推荐使用
- lxml: 比较快，使用简单，安装一般
- BeautifulSoup4的用法
- 参考案例67_7
5.1. HTML或XML中的四大对象
-
四大对象
- Tag
- NavigableString
- Beautifulsoup
- Comment
-
Tag（标签对象）
- 对应HTML中的标签
- 可以通过soup.tag_name
- tag标签有两个重要的属性
- name
- attribute(使用时用.attrs)
- attrs属性是一个字典，修改删除类似于字典
- 参考实例67_8
-
NavigableString（一般为字符串对象）
- 查看标签内容中的值
- 用法tag_name.string
- 标签中的内容不能编辑，但是可以替换
- 参考实例67_9,参考实例67_11
-
Beautifulsoup（整个文档对象）
- 表示一个文档的内容，大部分可以当做一个tag对象
- Beautifulsoup实例的对象包含一个特殊的属性
- 对象包含了一个值为 “[document]” 的特殊属性
- 使用方法 soup.name
- 参考实例67_9
-
Comment（注释对象）
- 通常情况下Tag , NavigableString , BeautifulSoup 几乎覆盖了
- html和xml中的所有内容,但是还有一些特殊对象.
- 容易让人担心的内容是文档的注释部分
- Comment对象是一个特殊类型的 NavigableString 对象
- 参考实例67_10
5.2. 遍历文档树
5.2.1. 子节点
-
子节点
-
一个Tag可能包含多个字符串或其它的Tag,这些都是这个Tag的子节点.
-
Beautiful Soup提供了许多操作和遍历子节点的属性.
-
操作文档树最简单的方法就是告诉它你想获取的tag的name
-
BS可以补全html文档中缺少的标签
-
通过点取属性的方式只能获得当前名字的第一个tag
-
得到所有的标签,或是通过名字得到比一个tag更多的内容的时候
- soup.find_all(‘a’)
- find_all返回的是一个列表
-
参考实例67_12,补全后的内容参考67_12.html
-
爱丽丝梦游仙境的例子，浏览器中显示的文档
The Dormouse’s story
Once upon a time there were three little sisters;
and their names were Elsie, Lacie and Tillie;
and they lived at the bottom of a well.
…
-
-
子节点中的.contents .children .descendants
- .contents 属性可以将tag的子节点以列表的方式输出
- 标签也是 BeautifulSoup 对象的子节点
- 字符串没有 .contents 属性,因为字符串没有子节点
- 通过tag的 .children 生成器,可以对tag的子节点进行循环
- 但是
标签也包含一个子节点:字符串 “The Dormouse’s story”, - 这种情况下字符串 “The Dormouse’s story”也属于标签的子孙节点.
- .descendants 属性可以对所有tag的子孙节点进行递归循环
- 参考实例67_13
-
.string .strings 和 stripped_strings
- 如果tag只有一个 NavigableString 类型子节点,
- 那么这个tag可以使用 .string 得到子节点
- 如果一个tag仅有一个子节点,那么这个tag也可以使用 .string 方法,
- 输出结果与当前唯一子节点的 .string 结果相同
- 如果tag包含了多个子节点,tag就无法确定
- .string 方法应该调用哪个子节点的内容,的输出结果是 None
- 参考案例67_14
- 如果包含多个字符串,可以使用 .strings 来循环获取
- 输出的字符串中可能包含了很多空格或空行,
- 使用 .stripped_strings 可以去除多余空白内容
- 参考案例67_15
5.2.2. 父节点，兄弟节点
-
通过 .parent 属性来获取某个元素的父节点.
- 在例子“爱丽丝”的文档中,标签是
标签的父节点 - 文档title的字符串也有父节点:
标签 - 文档的顶层节点比如的父节点是 BeautifulSoup 对象
- BeautifulSoup 对象的 .parent 是None
- 参考实例67_16
- 在例子“爱丽丝”的文档中,标签是
-
通过元素的 .parents 属性可以递归得到元素的所有父辈节点
- 通过元素的 .parents 属性可以递归得到元素的所有父辈节点,
- 使用了 .parents 方法遍历了标签到根节点的所有节点
- .prettify()可以查看兄弟节点
- 参考实例67_17
本章案例较多：
源代码请到GITHUB下载：
https://github.com/FangbaiZhang/TLXY_study_note/tree/master/Spider
下接：
Python3网络爬虫教程14——BeautifulSoup4之搜索文档树
https://blog.csdn.net/u011318077/article/details/86633433