python笔记：常用内建模块—HTMLParser（细节补充）

一、HTMLParser中几种handler_开头的函数

HTMLParser是python用来解析html的模块。它可以分析出html里面的标签、数据等等，是一种处理html的简便途径。 HTMLParser采用的是一种事件驱动的模式，当HTMLParser找到一个特定的标记时，它会去调用一个用户定义的函数，以此来通知程序处理。它主要的用户回调函数的命名都是以handler_开头的，都是HTMLParser的成员函数。当我们使用时，就从HTMLParser派生出新的类，然后重新定义这几个以handler_开头的函数即可。这几个函数包括：

handle_startendtag 处理开始标签和结束标签
handle_starttag 处理开始标签，比如<xx>
handle_endtag 处理结束标签，比如</xx>
handle_charref 处理特殊字符串，就是以&#开头的，一般是内码表示的字符
handle_entityref 处理一些特殊字符，以&开头的，比如
handle_data 处理数据，就是<xx>data</xx>中间的那些数据
handle_comment 处理注释
handle_decl 处理<!开头的，比如<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"

handle_pi 处理形如<?instruction>的东西

二、大佬写的经典的内容转载

Python的自带模块——HTMLParser的初步学习

https://blog.csdn.net/weixin_35955795/article/details/52823203

Python中使用HTMLParser解析html实例

https://www.jb51.net/article/60867.htm

Python 网页解析HTMLParse的实例详解

https://www.jb51.net/article/120779.htm

三、从基本例子看HTMLParser的解析步骤及要点

步骤1、准备一个模拟的html文件：

步骤2、使用HTMLParser解析html代码

import html.parser as h 

class MyHTMLParser(h.HTMLParser): 
  a_t=False 
  def handle_starttag(self, tag, attrs): 
    #print("开始一个标签:",tag) 
    if str(tag).startswith("title"): 
      print(tag) 
      self.a_t=True 
      for attr in attrs: 
        print("  属性值：",attr) 
 
  def handle_endtag(self, tag): 
    if tag == "title": 
      self.a_t=False 
      #print("结束一个标签:",tag) 
 
  def handle_data(self, data): 
    if self.a_t is True: 
      print("得到的数据: ",data) 
 
p=MyHTMLParser() 
p.feed("<html> <title id='main' mouse='你好'>我是标题</title><body>我是内容</body>  </html>") 
p.close()

步骤3、运行

如果将上述代码中间：

for attr in attrs: 
        print("  属性值：",attr)

改为：

print("  属性值：",attrs[1][1])

全部代码如下：

import html.parser as h 

class MyHTMLParser(h.HTMLParser): 
  a_t=False 
  def handle_starttag(self, tag, attrs): 
    print("开始一个标签:",tag) 
    if str(tag).startswith("title"): 
      self.a_t=True 
      print("  属性值：",attrs[1][1])
 
  def handle_endtag(self, tag): 
    if tag == "title": 
      self.a_t=False 
      print("结束一个标签:",tag) 
 
  def handle_data(self, data): 
    if self.a_t is True: 
      print("得到的数据: ",data) 
p=MyHTMLParser() 
p.feed("<html> <title id='main' mouse='你好'>我是标题</title><body>我是内容</body>  </html>") 
p.close()

运行：

总结：通过上述代码运行结果可以明显看出tag是的html标签，attrs是 (属性，值)元组(tuple)的列表(list)，上述例子中attrs的值实际上是[('id',main),('mouse',你好)]

四、验证attrs是否是元组的列表list

对于以上总结，进行验证，验证attrs是否是元组的列表list

如果是元组的列表list，则需要满足以下的条件：

1、可以用二维数组的形式获取值，比如attr[0][1]="main"

2、list是可变对象，可以使用append()方法添加值

代码：


import html.parser as h 
 
class MyHTMLParser(h.HTMLParser): 
  a_t=False 
  def handle_starttag(self, tag, attrs): 
    print("开始一个标签:",tag) 
    if str(tag).startswith("title"): 
      self.a_t=True 
      print("  属性值：",attrs[1][1]) #验证条件1
      attrs.append(('time','puple')) #验证条件2
      print("添加的属性值：",attrs[2][1])
  def handle_endtag(self, tag): 
    if tag == "title": 
      self.a_t=False 
      print("结束一个标签:",tag) 
 
  def handle_data(self, data): 
    if self.a_t is True: 
      print("得到的数据: ",data) 
p=MyHTMLParser() 
p.feed("<html> <title id='main' mouse='你好'>我是标题</title><body>我是内容</body>  </html>")

运行：

发现本来进入titile标签，attrs=[('id','main'),('mouse','你好')]，条件1符合

经过代码attrs.append(('time','puple'))运算，attrs=[('id','main'),('mouse','你好'),('time','puple')]，经过print("添加的属性值：",attrs[2][1])，打印得puple。证明条件2符合。故验证“attrs是 (属性，值)元组(tuple)的列表(list)”完毕。

五、练习

代码：

from html.parser import HTMLParser
from html.entities import name2codepoint
from urllib import request
import re
from html.entities import name2codepoint
class MyHTMLParser(HTMLParser):

	def __init__(self):
		HTMLParser.__init__(self)
		self.time=""
		self.ttag=""
		self.flag=0
	def handle_starttag(self, tag, attrs):
		self.ttag=tag
		try:

			if self.ttag=="h3" and attrs[0][1]=="event-title":
				self.flag=1
			if self.flag==1 and tag=="a" and "events/python-events/" in attrs[0][1]:
				self.ttag="etitle"
			if self.ttag=="time": 
				self.time=attrs[0][1]
				
			if self.ttag=="span" and attrs[0][1]=="event-location":
				self.ttag="addr"
		except IndexError:
			pass
	def handle_data(self, data):
		if self.ttag=="etitle":
			print("----------------------------------------------------------------------------")
			print("会议主题:",data)
		elif self.ttag=="time":
			print("会议时间:",data)
		elif self.ttag=="addr":
			print("会议地点:",data)
		self.ttag=""
		self.flag=0
		
url = 'https://www.python.org/events/python-events/'
try:
    with request.urlopen(url) as f:
        data = f.read().decode('utf-8')
except HTTPError:
	print('Error getting page source')
parse = MyHTMLParser()
parse.feed(data)

运行：

python笔记：常用内建模块—HTMLParser（细节补充）

Python中使用HTMLParser解析html实例

猜你喜欢