爬虫:基于bs4库的html内容查找方法

版权声明:关注微信公众号:摸鱼科技资讯,联系我们 https://blog.csdn.net/qq_36949176/article/details/84311222

<>.find_all(name,attrs,recursive,string,**kwargs)

返回一个列表类型,存储查找的结果。

name:对标签名称的检索字符串

attrs:对标签属性值得检索字符串,可标注属性检索

recursive:是对子孙全部检索,默认True

调用tag的 find_all() 方法时,Beautiful Soup会检索当前tag的所有子孙节点,如果只想搜索tag的直接子节点,可以使用参数 recursive=False .

string:<>...</>中字符串区域的检索字符串

一些具体案例可参考:https://www.cnblogs.com/zipon/p/6129280.html

>>> from bs4 import BeautifulSoup
>>> import requests
>>> r=requests.get("https://www.baidu.com/?tn=98012088_5_dg&ch=12")
>>> demo=r.text
>>> soup=BeautifulSoup(demo,"html.parser")
>>> for link in soup.find_all('a'):
	print(link.get('href'))           //找到所有a标签的href链接
>>> soup.find_all('a')           //找到所有的a标签
>>> soup.find_all(['a','b'])   //找到所有的a、b标签
>>> for tag in soup.find_all(True):
	print(tag.name)                    //查找所有的标签并打印出名字
demo='<p class="course">Python is a wonderful general-purpose programming language </p>'

soup=BeautifulSoup(demo,"html.parser")
soup.find_all('p','course') //查找p标签属性值为course的内容
soup.find_all(id='link1')    //查找id=link1的内容
soup.find_all(id='link')

import re   //导入正则表达式模块
soup.find_all(id=re.compile('link')) //输出以link开头但是与link不完全一致的标签信息

<tag>(..)等价于<tag>.find_all(..)

soup(..)等价于 soup.find_all(..)

                                                                  扩展方法            

方法 说明
<>.find() 搜索且只返回一个结果,字符串类型,同.find_all()参数
<>.find_parents() 在先辈节点中搜索,返回列表类型,同.find_all()参数
<>.find_parent() 在先辈节点中返回一个结果,字符串类型,桐.find()参数
<>.find_next_siblings() 在后续平行节点中搜索,返回列表类型,同.find_all()参数
<>.find_next_sibling() 在后续平行节点中返回一个结果,字符串类型,同.find()参数
<>.find_previous_siblings() 在前序平行节点中搜索,返回列表类型,同.find_all()参数
<>.find_previous_sibling() 在前序平行节点中返回一个结果,字符串类型,同.find参数

猜你喜欢

转载自blog.csdn.net/qq_36949176/article/details/84311222