python|爬虫beautifulsoup的用法

版权声明：转载请注明出处 https://blog.csdn.net/Booboochen/article/details/80544262

beautifulsoup：用来解析网页得到我们想要的数据，我用的是bs4了

##引入模块

from bs4 import BeautifullSoup

##网址

name_url = 'https://mp.csdn.net/postedit'

##得到网页信息

html = requests.get(name_url)

##创建对象

html = BeautifulSoup(name_url)

##搜索文档树

1.soup.find( name , attrs , recursive , text , **kwargs )    BeautifulSoup中可以通过name和attrs去定位名称和属性，以找到特定的html代码。更值得称赞的是，attrs支持正则表达式。

name_soup =soup.find('class': 'attrs')
class='div','span'等根据具体的name属性在标签里面找到
attrs='text','title-author'等，按f12打开网页源码，看一下

2.soup.find_all()

                    find_all() 返回的是整个文档的搜索结果，如果文档内容较多则搜索过程耗时过长，加上 limit 限制，当结果到达 limit 值时停止搜索并返回结果。
                    find_all() 会检索当前tag的所有子孙节点,如果只想搜索tag的直接子节点,可以使用参数 recursive=False。

find() 方法和 find_all() 方法的参数使用基本一致，只是 find() 的搜索方法只会返回第一个满足要求的结果，等价于 find_all() 方法并将 limit 设置为1。如：

soup.find_all('div', class_='thumb', limit=1)
soup.find('div', class_='thumb')

具体详细信息可直接参考 Beautiful Soup 库的 官方说明文档