-数据解析的原理：
-1.标签定位
-2.提取标签，标签属性中存储的数量的具体值
-bs4数据解析的原理：
-1.实例化一个【BeatifulSoup】对象，并且将页面源码数据加载到该对象中
-2.通过调用【BeatifulSoup】对象中相关的属性或者方法进行标签定位和数据提取
-环境安装：
-pip install bs4
-pip install lxml(解析器)
-如何实例化【BeatifulSoup】对象：
-from bs4 import BeautifulSoup
-对象的实例化
-1.将本地的html文档中的数据加载到该对象中
fp=open('./test.html','r',encoding='utf-8')
soup=BeautifulSoup(fp,'lxml')[报错将'lxmll'改成【soup = BeautifulSoup(fp, 'html.parser')】]
-2.将互联网上获取的页面源码加载到该对象中【☆使用多】
page_text=response.text
soup=BeatifulSoup(page_text,'lxml')
-提供的用于数据解析的方法和属性：
-soup.tagName 返回的是文档中第一次出现的tagName对应的标签
-soup.find():
-find('tagName'):等同于soup.div
-属性定位：
-soup.fin('div',class_/id/attr='song')[class是关键字，参数名称一定是class_]
-soup.find_all('tagName'):返回符合要求的所有标签，返回一个列表
-select:
-select('某种选择器（id,class,标签……选择器）'),返回的是一个列表。
-层级选择器：
-soup.select('.tang>ul>li>a')：>表示的是一个层级
-soup.select('.tang>ul a'): 空格表示多个层级
-获取标签之间的文本数据：
- suop.a.text/string/get_text()
-text/get_text():可以获取某一个标签中所有的文本内容
-string:只可以获取该标签下直系的文本内容
-获取标签中的属性：
-soup.a['href']
例题
from bs4 import BeautifulSoup
import requests
if __name__ == "__main__":
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome'
'/89.0.4389.90 Safari/537.36 Edg/89.0.774.63'}
url='https://www.shicimingju.com/book/sanguoyanyi.html'
page_text=requests.get(url=url,headers=headers).text.encode('ISO-8859-1')
#在首页中解析出章节的标题和详情页的url
#1.实例化BeautifulSoup对象，需要将页面激活码数据加载到该对象中
soup=BeautifulSoup(page_text,'html.parser')
li_list=soup.select('.book-mulu>ul>li')
fp=open('./sanguo.txt','w',encoding='utf-8')
for li in li_list:
title=li.a.string
detail_url='https://www.shicimingju.com'+li.a['href']
#对详情页进行请求，解析出章节内容
detail_page_text=requests.get(url=detail_url,headers=headers).text.encode('ISO-8859-1')
#解析出详情页中的相关的章节的内容
detail_soup=BeautifulSoup(detail_page_text,'html.parser')
div_tag=detail_soup.find('div',class_='chapter_content')
#解析到了章节的内容
content=div_tag.text
fp.write(title+':'+content+'\n')
print(title,'over!')
错误：【object of type ‘Response’ has no len()】响应对象没有长度
解决：在响应数据后加text
出现乱码：【　　开平å
ƒå¹´æ£æœˆä¸äº¥ï¼Œå¸å›žè】
在每次响应数据后加.encode(‘ISO-8859-1’)
xpath解析：最常用且最便捷高效的一种解析方式
-xpath解析原理：
-1.实例化一个etree的对象，且需要将被解析的页面源码数据加载到该对象中。
-2.调用stree对象中的xpath方法结合着xpath表达式实现的标签的定位和内容的捕获
-环境的安装：
-pip install lxml
-如何实例化一个etree对象
-1.将本地的html文档中的源码数据加载到etree对象中：
etree.parse(filePath)
-2.可以将从互联网上获取的数据加载到该对象中：
etree.HTML('page_text')
-xpath('xpath表达式')
-xpath表达式：
-/：表示的是从根节点开始定位。表示的是一个层级。
-//：表示的是多个层级。可以表示从任意位置开始定位。
-属性定位：//div[@class='song'] tag[@attrName="attrValue"]
-索引定位：//div[@class='song'] tag/p[3]索引是从1开始的。
-取文本：
-/text() 获取的是标签中直系的文本内容
-//text() 标签中非直系的文本内容（所有的文本内容）
-取属性：
/@attrName ==>img/src
错误：【 Opening and ending tag mismatch】
使用 DOMParser 解析XML时，要求所有的标签必须闭合。有开始标签< >，就要有对应的结束标签（</>）。或者，标签是自闭和的（< />）。