python库——Lxml

版权声明：YESHAO https://blog.csdn.net/qq_38929220/article/details/83623057

Lxml模块使用C语言编写，解析速度比BeautifulSoup要快。用于处理Python语言中的XML和HTML。
可直接命令行pip install lxml安装。

Lxml爬虫使用

1. 将有可能不合法的HTML解析为统一格式

>>>import lxml.html
>>>broken_html = '<ul class=shop><li>Price<li>Number</ul>'
>>>tree = lxml.html.fromstring(broken_html) #解析HTML
>>>fixed_html = lxml.html.tostring(tree,pretty_print=True)
>>>print(fixed_html)
<ul class="shop">
 <li>Price</li>
 <li>Number</li>
</ul>

2. 使用CSS选择器选择元素
   lxml有几种不同的方法选择元素，CSS选择器更加简洁并且可以在解析动态内容时得以复用。
   css选择器的安装：pip install cssselect
   例（爬取中国天气网天气）：

import lxml.html
import urllib.request

url = 'http://www.weather.com.cn/weather/101020100.shtml'
#模拟成浏览器
headers = ("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0")
opener = urllib.request.build_opener()
opener.addheaders = [headers]
html = urllib.request.urlopen(url).read()
tree = lxml.html.fromstring(html)
td = tree.cssselect('p.tem')[0]
wea=td.text_content()
print(wea)

CSS选择器语法

1. 选择所有标签：*
2. 选择< a>标签：a (<>中字母任意，根据实际情况）
3. 选择所有class="link"的元素：.link
4. 选择class="link"的< a>标签：a.link
5. 选择id="home"的< a>标签：a#home
6. 选择父元素为< a>标签的所有< b>子标签：a > b
7. 选择< a>标签内部所有< b>标签：a b
8. 选择title属性为"Home"的所有< a>标签：a[title=Home]

性能分析

Lxml的性能和正则表达式几乎一样好，而且使用简单。相比之下此方法既快速又健壮，适合在各种场景使用。

部分内容参照自《用python写网络爬虫》