解析库BeautifulSoup4基本使用
一.安装
pip install Beautifulsoup4
Beautiful Soup在解析时实际是依赖解析器的，它除了支持python标准库中的HTML解析器外还支持第三方解析器如lxml等,推荐使用lxml.
安装解析器: pip install lxml
创建beautifulsoup对象
soup=BeautifulSoup(html,'lxml')
html: 可以为 str, 也可以是 文件句柄fp
'lxml': 解析器, 需安装lxml包
1.节点选择器
直接调用节点的名称就可以选择节点元素，节点可以嵌套选择, 返回的类型都是bs4.element.Tag对象
soup.head #获取head标签
soup.p.b #获取p节点下的b节点
soup.p.string #获取p标签下的文本
当同级有多个相同节点时, 节点选择器默认只选择第一个
节点的属性方法:
name属性获取节点的名称：
soup.div.name
attrs属性获取节点属，返回的结果可能是列表或字符串类型，取决于节点类型
soup.p.attrs #获取p节点所有属性
soup.p.attrs['class'] #获取p节点class属性
soup.p['class'] #直接获取p节点class属性 以字典的形式直接获取
soup.p.get('class')
string属性获取节点元素包含的文本内容：
soup.p.string #获取第一个p节点下的文本内容
contents属性获取节点的直接子节点，以列表的形式返回内容
soup.div.contents #直接子节点，bs4将换行也作为一个节点
children属性获取的也是节点的直接子节点，以生成器的类型返回
soup.div.children
descendants属性获取子孙节点，返回生成器
soup.div.descendants
parent属性获取父节点，parents获取祖先节点，返回生成器
soup.b.parent
soup.b.parents
next_sibling属性返回下一个兄弟节点，previous_sibling返回上一个兄弟节点,注意换行符也是一个节点，所以获取兄弟节点是通常是字符串或者空白
soup.a.next_sibling
soup.a.previous_sibling
next_element和previous_element属性获取下一个被解析的对象，或者上一个
soup.a.next_element
soup.a.previous_element
next_elements和previous_elements迭代器向前或者后访问文档解析内容
soup.a.next_elements
soup.a.previous_elements
2.使用find_all
find_all(name,attrs,recursive,text,**kwargs)：查询所有符合条件的元素，其中的参数:
name表示可以查找所有名字为name的标签(tag)，也可以是过滤器，正则表达式，列表或者是True
attrs表示传入的属性，可以通过attrs参数以字典的形式指定如常用属性id,attrs={'id':'123'}，由于class属性是python中的关键字，所有在查询时需要在class后面加上下划线即class_='element'，返回的结果是tag类型的列表
text参数用来匹配节点的文本，传入的形式可以是字符串也可以是正则表达式对象
recursive表示，如果只想搜索直接子节点可以将参数设为false：recursive=Flase
limit参数，可以用来限制返回结果的数量，与SQL中的limit关键字类似
find_all(条件)：查询所有符合条件的元素
查找标签名为 div 的所有元素
soup.find_all(name='div') # name代表标签名,不是name属性
soup.find_all('div') # 标签查找
查找标签名为 li 或 a 的所有元素
soup.find_all(name = ['li', 'a'])
查找 id 为 world 的所有元素
soup.find_all(id = 'world')
查找 class 为 active 的 所有元素
soup.find_all(class_='active') # class为python关键字,需加下划线
查找 a 标签中,title 属性为 hello 的所有元素
soup.find_all('a', title='hello') # 标签 加属性过滤
soup.find_all('a', title='hello', limit=2) # 限制输出, limit属性代表取前2个
查找 a 标签中包含属性 id='box', class='active' 的所有元素
soup.find_all('a',attrs={'id':'box','class':'active'}) # 多属性过滤
查找文本中能匹配字符串 hello 的所有元素
soup.find_all(text=re.compile('Tillie')) # 使用正则过滤查找
其他方法:
find( name , attrs , recursive , text , **kwargs )：它返回的是单个元素，也就是第一个匹配的元素，类型依然是tag类型
参数同find_all()一样
3. css选择器
使用css选择器语法查找元素
查找所有 a 标签
soup.select('a')
查找 class = 'active' 的所有元素
soup.select('.active')
查找 id = 'box' 的元素
soup.select('#box')
查找 .active 的 所有后代 li 标签
soup.select(.active li)
查找 li 标签 的所有子元素 a
soup.select('li > a')
通过是否存在某个属性来查找元素
soup.select('li[class]') # 查找带有class属性的所有 li 标签
通过属性的值来查找匹配
soup.select( 'li[class="active"]' ) # 查找带有 class='hello' 的 所有 li 标签
soup.select('li[class^="act"]') #匹配值的开头
soup.select('li[class$="ve"]') #匹配值的结尾
soup.select('li[class*="tiv"]') #模糊匹配
获取节点文本
soup.select('a')[0].get_text()
soup.select('a')[0].string #貌似仅有文本时有效, 嵌套了其他标签时失效