Re库与正则表达式
Copyright: Jingmin Wei, Pattern Recognition and Intelligent System, School of Artificial and Intelligence, Huazhong University of Science and Technology
本教程主要参考中国大学慕课的 Python 网络爬虫与信息提取，为个人学习笔记。
在学习过程中遇到了一些问题，都手动记录并且修改更正，保证所有的代码为有效。且结合其他的博客总结了一些常见问题的解决方式。
本教程不商用，仅为学习参考使用。如需转载，请联系本人。
Reference
正则表达式的概念
正则表达式是用来简洁表达一组字符串的表达式。
引入：
简洁，一行胜千言，一行就是特征(模式)。
正则表达式是用来简洁表达一组字符串的表达式；正则表达式是一种通用的字符串表达框架；进一步，正则表达式是一种针对字符串表达“简洁”和“特征”思想的工具；正则表达式可以用来判断某字符串的特征归属。
正则表达式在文本处理中十分常用：
-
表达文本类型的特征（病毒、入侵等）
-
同时查找或替换一组字符串
-
匹配字符串的全部或部分 最主要应用在字符串匹配中
编译：将符合正则表达式语法的字符串转换成正则表达式特征。
正则表达式的语法
正则表达式的常用操作符
| 操作符 | 说明 | 实例 |
|---|---|---|
| . | 表示任何单个字符 | |
| [ ] | 字符集，对单个字符给出取值范围 | [abc]表示a或b或c，[a‐z]表示a到z单个字符 |
| [^ ] | 非字符集，对单个字符给出排除范围 | [^abc]表示非a或b或c的单个字符 |
| * | 前一个字符0次或无限次扩展 | abc* 表示 ab、abc、abcc、abccc等 |
| + | 前一个字符1次或无限次扩展 | abc+ 表示 abc、abcc、abccc等 |
| ? | 前一个字符0次或1次扩展 | abc? 表示 ab、abc |
| | | 左右表达式任意一个 | abc|def 表示 abc、def |
| {m} | 扩展前一个字符m次 | ab{2}c表示abbc |
| {m,n} | 扩展前一个字符m至n次（含n） | ab{1,2}c表示abc、abbc |
| ^ | 匹配字符串开头 | ^abc表示abc且在一个字符串的开头 |
| $ | 匹配字符串结尾 | abc$表示abc且在一个字符串的结尾 |
| ( ) | 分组标记，内部只能使用|操作符 | (abc)表示abc，(abc|def)表示abc、def |
| \d | 数字，等价于[0‐9] | |
| \w | 单词字符，等价于[A‐Za‐z0‐9_] |
有关？组合语法和最小匹配请直接跳转至贪婪匹配和最小匹配处。
正则表达式语法实例
经典正则表达式实例
匹配IP地址的正则表达式
Re库的基本使用
Re 库是 Python 的标准库，主要用于字符串匹配
import re
raw string 类型（原生字符串类型）。re 库采用 raw string 类型表示正则表达式，表示为：
raw string 是不包含对转义符再次转义的字符串
re 库也可以采用 string 类型表示正则表达式，但更繁琐，例如：
建议：当正则表达式包含转义符时，使用 raw string
1.Re库的主要功能函数
| 函数 | 说明 |
|---|---|
| re.search() | 在一个字符串中搜索匹配正则表达式的第一个位置，返回 match 对象 |
| re.match() | 从一个字符串的开始位置起匹配正则表达式，返回 match 对象 |
| re.findall() | 搜索字符串，以列表类型返回全部能匹配的子串 |
| re.split() | 将一个字符串按照正则表达式匹配结果进行分割，返回列表类型 |
| re.finditer() | 搜索字符串，返回一个匹配结果的迭代类型，每个迭代元素是 match 对象 |
| re.sub() | 在一个字符串中替换所有匹配正则表达式的子串，返回替换后的字符串 |
常用参数类型
∙ pattern : 正则表达式的字符串或原生字符串表示
∙ string : 待匹配字符串
∙ flags : 正则表达式使用时的控制标记
| 常用标记 | 说明 |
|---|---|
| re.I re.IGNORECASE | 忽略正则表达式的大小写，[A‐Z] 能够匹配小写字符 |
| re.M re.MULTILINE | 正则表达式中的^操作符能够将给定字符串的每行当作匹配开始 |
| re.S re.DOTALL | 正则表达式中的.操作符能够匹配所有字符，默认匹配除换行外的所有字符 |
∙ maxsplit: 最大分割数，剩余部分作为最后一个元素输出
∙ repl : 替换匹配字符串的字符串
∙ count : 匹配的最大替换次数
1.
re.search(pattern, string, flags=0)
在一个字符串中搜索匹配正则表达式的第一个位置，返回match对象
>>> import re
>>> match = re.search(r'[1-9]\d{5}', 'BIT 100081')
>>> if match:
print(match.group(0))
100081
2.
re.match(pattern, string, flags=0)
从一个字符串的开始位置起匹配正则表达式，返回 match 对象
>>> import re
>>> match = re.match(r'[1-9]\d{5}', 'BIT 100081')
>>> if match:
match.group(0)
>>> match.group(0)
Traceback (most recent call last):
File "<pyshell#10>", line 1, in <module>
match.group(0)
AttributeError: 'NoneType' object has no attribute 'group'
>>> match = re.match(r'[1-9]\d{5}', '100081 BIT')
>>> if match:
print(match.group(0))
100081
3.
re.findall(pattern, string, flags=0)
搜索字符串，以列表类型返回全部能匹配的子串
>>> import re
>>> ls = re.findall(r'[1-9]\d{5}', 'BIT100081 TSU100084')
>>> ls
['100081', '100084']
4.
re.split(pattern, string, maxsplit=0, flags=0)
将一个字符串按照正则表达式匹配结果进行分割，返回列表类型
>>> import re
>>> re.split(r'[1-9]\d{5}', 'BIT100081 TSU100084')
['BIT', ' TSU', '']
>>> re.split(r'[1-9]\d{5}', 'BIT100081 TSU100084', maxsplit=1)
['BIT', ' TSU100084']
5.
re.finditer(pattern, string, flags=0)
搜索字符串，返回一个匹配结果的迭代类型，每个迭代元素是match对象
>>> import re
>>> for m in re.finditer(r'[1-9]\d{5}', 'BIT100081 TSU100084'):
if m:
print(m.group(0))
100081
100084
6.
re.sub(pattern, repl, string, count=0, flags=0)
在一个字符串中替换所有匹配正则表达式的子串，返回替换后的字符串
>>> import re
>>> re.sub(r'[1-9]\d{5}', ':zipcode', 'BIT100081 TSU100084')
'BIT:zipcode TSU:zipcode'
2.Re库的另一种等价用法
函数式用法：一次性操作
>>> rst = re.search(r'[1-9]\d{5}', 'BIT 100081')
等价于
面向对象用法：编译后可多次操作
>>> pat = re.compile(r'[1-9]\d{5}')
>>> rst = pat.search('BIT 100081')
>>> if rst:
print(rst.group(0))
100081
compile：
regex = re.compile(pattern, flags=0)
将正则表达式的字符串形式编译成正则表达式对象
>>> regex = re.compile(r'[1‐9]\d{5}')
然后调用相应的方法，注意不要再写pattern
Re库的Match对象
Match 对象是一次匹配的结果，包含匹配的很多信息
>>> match = re.search(r'[1-9]\d{5}', 'BIT 100081')
>>> if match:
print(match.group(0))
100081
>>> type(match)
<class 're.Match'>
Match 对象的属性：
| 属性 | 说明 |
|---|---|
| .string | 待匹配的文本 |
| .re | 匹配时使用的patter对象（正则表达式） |
| .pos | 正则表达式搜索文本的开始位置 |
| .endpos | 正则表达式搜索文本的结束位置 |
Match 对象的方法
| 方法 | 说明 |
|---|---|
| .group(0) | 获得匹配后的字符串 |
| .start() | 匹配字符串在原始字符串的开始位置 |
| .end() | 匹配字符串在原始字符串的结束位置 |
| .span() | 返回(.start(), .end()) |
实例：
>>> import re
>>> m = re.search(r'[1-9]\d{5}', 'BIT100081 TSU100084')
>>> m.string
'BIT100081 TSU100084'
>>> m.re
re.compile('[1-9]\\d{5}')
>>> m.pos
0
>>> m.endpos
19
>>> m.group(0)
'100081'
>>> m.start
<built-in method start of re.Match object at 0x000001F226185E00>
>>> m.start()
3
>>> m.end()
9
>>> m.span()
(3, 9)
Re库的贪婪匹配和最小匹配
>>> match = re.search(r'PY.*N', 'PYANBNCNDN')
>>> match.group(0)
同时匹配长短不同的多项，返回哪一个呢？
贪婪匹配：
>>> match = re.search(r'PY.*N', 'PYANBNCNDN')
>>> match.group(0)
'PYANBNCNDN'
Re 库默认采用贪婪匹配，即输出匹配最长的子串
最小匹配：
如何输出最短的子串呢？
>>> match = re.search(r'PY.*?N', 'PYANBNCNDN')
>>> match.group(0)
'PYAN'
最小匹配操作符
| 操作符 | 说明 |
|---|---|
| *? | 前一个字符 0 次或无限次扩展，最小匹配 |
| +? | 前一个字符 1 次或无限次扩展，最小匹配 |
| ?? | 前一个字符 0 次或 1 次扩展，最小匹配 |
| {m,n}? | 扩展前一个字符 m 至 n 次(含 n)，最小匹配 |
只要长度输出可能不同的，都可以通过在操作符后增加?变成最小匹配
总结
