Python正则表达式知识梳理

一. 正则表达式语法

1.1 字符与字符类

(1) 特殊字符：\ . ^ $ ? + * { } [ ] ( ) |

以上特殊字符要想使用字面值，必须使用\进行转义

(2) 字符类

• 包含在[]中的一个或者多个字符被称为字符类，字符类在匹配时如果没有指定量词则只会匹配其中的一个。
• 字符类内可以指定范围，如[a-zA-Z0-9]，表示a到z，A到Z，0到9之间的任何一个字符。
• 左方括号后跟随一个^{，表示否定一个字符类，如[}0-9]，表示可以匹配一个任意非数字的字符。
• 字符类内部，除了\之外，其他特殊字符不再具备特殊意义，都表示字面值。提示，^{放在第一个位置表示否定，放在其他位置表示}本身，-放在中间表示范围，放在字符类中的第一个字符，则表示-本身。
• 字符类内部可以使用速记法，如\d \s \w。

(3) 速记法

• . 匹配除换行符之外的任何字符，如果有re.DOTALL标志，则匹配任意字符，包括换行。
• \d 匹配一个Unicode数字，如果带re.ASCII，则匹配0-9。
• \D 匹配Unicode非数字。
• \s 匹配Unicode空白，如果带有re.ASCII，则匹配\t\n\r\f\v中的一个。
• \S 匹配Unicode非空白。
• \w 匹配Unicode单词字符，如果带有re.ASCII，则匹配[a-zA-Z0-9_]中的一个。
• \W 匹配Unicode非单词字符。

1.2 量词

• ? 匹配前面的字符0次或1次。
• * 匹配前面的字符0次或多次。
• + 匹配前面的字符1次或者多次。
• {m} 匹配前面表达式m次。
• {m,} 匹配前面表达式至少m次。
• {,n} 匹配前面的正则表达式最多n次。
• {m,n} 匹配前面的正则表达式至少m次，最多n次。

1.3 惰性和贪婪

以上量词都是贪婪模式，会尽可能多的匹配，如果要改为非贪婪模式，通过在量词后面跟随一个?来实现，定义为惰性匹配。

1.4 组与捕获

(1) ()的作用：

捕获()中正则表达式的内容，以备进一步利用处理，可以通过在左括号后面跟随?:来关闭这个括号的捕获功能。

将正则表达式的一部分内容进行组合，以便使用量词或者|。

(2) 反响引用前面()内捕获的内容：

通过编号反向引用：

每一个没有使用?:的小括号都会分配一个编号，从1开始，从左到右递增，可以通过\i引用前面()内表达式捕获的内容。

通过组名反向引用前面小括号内捕获的内容：

可以通过在左括号后面跟随?P,尖括号中放入名称来为一个组起一个别名，后面通过(?P=name)来引用 前面捕获的内容。如(? P\w+)\s+(?P=word)来匹配重复的单词。

(3) 注意：

反向引用不能放在字符类[]中使用。

1.5 断言与标记

断言不会匹配任何文本，只是对断言所在的文本施加某些约束。

(1) 常用断言：

• \b 匹配单词的边界，放在字符类[]中则表示backspace。
• \B 匹配非单词边界，受ASCII标记影响。
• \A 在起始处匹配。
• ^ 在起始处匹配，如果有MULTILINE标志，则在每个换行符后匹配。
• \Z 在结尾处匹配。
• $ 在结尾处匹配，如果有MULTILINE标志，则在每个换行符前匹配。
• (?=e) 正前瞻。
• (?!e) 负前瞻。
• (?<=e) 正回顾。
• (?<!e) 负回顾。

(2) 前瞻、回顾的解释

• 前瞻： exp1(?=exp2) exp1后面的内容要匹配exp2
• 负前瞻: exp1(?!exp2) exp1后面的内容不能匹配exp2
• 后顾: (?<=exp2)exp1 exp1前面的内容要匹配exp2
• 负后顾: (?<!exp2)exp1 exp1前面的内容不能匹配exp2

例如：要查找hello，但是hello后面必须是world，正则表达式可以这样写：“(hello)\s+(?=world)”,用来匹配"hello wangxing"和"hello world"等，但是只能匹配到hello。

1.6 条件匹配

(?(id)yes_exp|no_exp):对应id的子表达式如果匹配到内容，则这里匹配yes_exp，否则匹配no_exp。

1.7 正则表达式的标志

(1) 正则表达式的标志有两种使用方法：

• 通过给compile()方法传入标志参数，多个标志使用|分割的方法,如re.compile(r"#[\da-f]{6}\b", re.IGNORECASE|re.MULTILINE)。
• 通过在正则表达式前面添加(?标志)的方法给正则表达式添加标志，如(?ms)#[\da-z]{6}\b。

常用的标志

• re.A或者re.ASCII， 使\b \B \s \S \w \W \d \D都假定字符串为假定字符串为ASCII。
• re.I或者re.IGNORECASE 使正则表达式忽略大小写。
• re.M或者re.MULTILINE 多行匹配，使每个^在每个回车后，每个$在每个回车前匹配。
• re.S或者re.DOTALL 使.能匹配任意字符，包括回车。
• re.X或者re.VERBOSE 这样可以在正则表达式跨越多行，也可以添加注释，但是空白需要使用\s或者[ ]来表示，因为默认的空白不再解释。如：

re.compile(r"""
<img\s  +)   #标签的开始
[^>]*?       #不是src的属性
src=         #src属性的开始
(?:
(?P<quote>["'])                #左引号
(?P<image_name>[^\1>]+?)  #图片名字
(?P=quote)                     #右括号
""",re.VERBOSE|re.IGNORECASE)

二. 正则表达式模块

2.1 正则表达式处理字符串主要有四大功能

• 匹配 查看一个字符串是否符合正则表达式的语法，一般返回true或者false。
• 获取 正则表达式来提取字符串中符合要求的文本。
• 替换 查找字符串中符合正则表达式的文本，并用相应的字符串替换。
• 分割 使用正则表达式对字符串进行分割。

2.2 模块使用正则表达式的两种方法

• 使用re.compile(r, f)方法生成正则表达式对象，然后调用正则表达式对象的相应方法。这种做法的好处是生成正则对象之后可以多次使用。
• re模块中对正则表达式对象的每个对象方法都有一个对应的模块方法，唯一不同的是传入的第一个参数是正则表达式字符串。此种方法适合于只使用一次的正则表达式。

2.3 正则表达式对象的常用方法

(1) rx.findall(s,start, end):

返回一个列表，如果正则表达式中没有分组，则列表中包含的是所有匹配的内容，如果正则表达式中有分组，则列表中的每个元素是一个元组，元组中包含子分组中匹配到的内容，但是没有返回整个正则表达式匹配的内容。

(2) rx.finditer(s, start, end):

返回一个可迭代对象。

对可迭代对象进行迭代，每一次返回一个匹配对象，可以调用匹配对象的group()方法查看指定组匹配到的内容，0表示整个正则表达式匹配到的内容。

(3) rx.search(s, start, end):

返回一个匹配对象,倘若没匹配到，就返回None。

search方法只匹配一次就停止，不会继续往后匹配。

(4) rx.match(s, start, end):

如果正则表达式在字符串的起始处匹配，就返回一个匹配对象，否则返回None。

(5) rx.sub(x, s, m):

返回一个字符串。每一个匹配的地方用x进行替换，返回替换后的字符串，如果指定m，则最多替换m次。对于x可以使用/i或者/gid可以是组名或者编号来引用捕获到的内容。

模块方法re.sub(r, x, s, m)中的x可以使用一个函数。此时我们就可以对捕获到的内容推过这个函数进行处理后再替换匹配到的文本。

(6) rx.subn(x, s, m):

与re.sub()方法相同，区别在于返回的是二元组，其中一项是结果字符串，一项是做替换的个数。

(7) rx.split(s, m):分割字符串

返回一个列表。

用正则表达式匹配到的内容对字符串进行分割。

如果正则表达式中存在分组，则把分组匹配到的内容放在列表中每两个分割的中间作为列表的一部分，如：

import re
rx =  re.compile(r"(\d)[a-z]+(\d)")
s =  "ab12dk3klj8jk9jks5"
result =  rx.split(s)
print(result)
#返回['ab1',  '2', '3', 'klj', '8', '9', 'jks5']

(8) rx.flags():正则表达式编译时设置的标志

(9) rx.pattern():正则表达式编译时使用的字符串。

(10) m.group(g, …)

返回编号或者组名匹配到的内容，默认或者0表示整个表达式匹配到的内容，如果指定多个，就返回一个元组。

(11) m.groupdict(default)

返回一个字典。字典的键是所有命名的组的组名，值为命名组捕获到的内容。

如果有default参数，则将其作为那些没有参与匹配的组的默认值。

(12) m.groups(default)

返回一个元组。包含所有捕获到内容的子分组，从1开始，如果指定了default值，则这个值作为那些没有捕获到内容的组的值。

(13) m.lastgroup()

匹配到内容的编号最高的捕获组的名称，如果没有或者没有使用名称则返回None(不常用)。

(14) m.lastindex()

匹配到内容的编号最高的捕获组的编号，如果没有就返回None。

(15) m.start(g):

当前匹配对象的子分组是从字符串的那个位置开始匹配的,如果当前组没有参与匹配就返回-1。

(16) m.end(g)

当前匹配对象的子分组是从字符串的那个位置匹配结束的，如果当前组没有参与匹配就返回-1。

(17) m.span()

返回一个二元组，内容分别是m.start(g)和m.end(g)的返回值。

(18) m.re()

产生这一匹配对象的正则表达式。

(19) m.string()

传递给match或者search用于匹配的字符串。

(20) m.pos()

搜索的起始位置。即字符串的开头，或者start指定的位置(不常用)。

(21) m.endpos()

搜索的结束位置。即字符串的末尾位置，或者end指定的位置(不常用)。

2.4 总结

• 对于正则表达式的匹配功能，Python没有返回true和false的方法，但可以通过对match或者search方法的返回值是否是None来判断。
• 对于正则表达式的搜索功能，如果只搜索一次可以使用search或者match方法返回的匹配对象得到，对于搜索多次可以使用finditer方法返回的可迭代对象来迭代访问。
• 对于正则表达式的替换功能，可以使用正则表达式对象的sub或者subn方法来实现，也可以通过re模块方法sub或者subn来实现，区别在于模块的sub方法的替换文本可以使用一个函数来生成。
• 对于正则表达式的分割功能，可以使用正则表达式对象的split方法，需要注意如果正则表达式对象有分组的话，分组捕获的内容也会放到返回的列表中。

附：正则表达式中常用的字符含义

正则表达式本身是一种小型的、高度专业化的编程语言，而在Python中，通过内嵌集成re模块，可以直接调用来实现正则匹配。正则表达式模式被编译成一系列的字节码，然后由用C编写的匹配引擎执行。

1、普通字符和11个元字符

特殊字符	说明	表达式	匹配结果
.	匹配除换行符"\n"外的任意字符，在DOTALL模式中也能匹配换行符	a.c	abc
\	转义字符，使后一个字符改变原来的意思	a.c;a\c	a.c;a\c
*	匹配前一个字符0或多次	abc*	ab;abccc
+	匹配前一个字符1次或无限次	abc+	abc;abccc
?	匹配一个字符0次或1次	abc?	ab;abc
^	匹配字符串开头。在多行模式中匹配每一行的开头	^abc	abc
$	匹配字符串末尾，在多行模式中匹配每一行的末尾	abc$	abc
|	或。匹配|左右表达式任意一个，从左到右匹配，如果|没有包括在()中，则它的范围是整个正则表达式	abc|def	abc;def
{}	{m}匹配前一个字符m次，{m,n}匹配前一个字符m至n次，若省略n，则匹配m至无限次	ab{1,2}c	abc;abbc
[]	字符集。对应的可以是字符集中任意字符。字符集中的字符可以逐个列出，也可以给出范围，如[abc]或[a-c]。[^abc]表示取反，即非abc。注意，所有特殊字符在字符集中都失去其原有的特殊含义。用\反斜杠转义恢复特殊字符的特殊含义。	a[bcd]e	abe;ace;ade
()	被括起来的表达式将作为分组，从表达式左边开始每遇到一个分组的左括号“（”，编号+1。 分组表达式作为一个整体，可以后接数量词。表达式中的|仅在该组中有效。	(abc){2};a(123|456)c	abcabc; a456c

注意反斜杠\的作用：

• 反斜杠后边跟元字符去除特殊功能（即将特殊字符转义成普通字符）。
• 反斜杠后边跟普通字符实现特殊功能（即预定义字符）。
• 引用序号对应的字组所匹配的字符串。

import re
a=re.search(r'(tina)(fei)haha\2','tinafeihahafei tinafeihahatina').group()
print(a)
# 结果：
# tinafeihahafei

2、预定义字符集（可以写在字符集[…]中）

特殊字符	说明	表达式	匹配结果
\d	数字:[0-9]	a\bc	a1c
\D	非数字:[^\d]	a\Dc	abc
\s	匹配任何空白字符:[<空格>\t\r\n\f\v]	a\sc	a c
\S	非空白字符:[^\s]	a\Sc	abc
\w	匹配包括下划线在内的任意字符:[A-Za-z0-9_]	a\wc	abc
\W	匹配非字母字符，即匹配特殊字符	a\Wc	a c
\A	仅匹配字符串开头,同^	\Aabc	abc
\Z	仅匹配字符串结尾，同$	abc\Z	abc
\b	匹配\w和\W之间，即匹配单词边界，也就是指单词和空格间的位置。例如，'er\b’可以匹配"never" 中的 ‘er’，但不能匹配 “verb” 中的 ‘er’。	\babc\b; a\b!bc	空格abc空格; a!bc
\B	匹配非边界：[^\b]	a\Bbc	abc

import re
w = re.findall('\btina','tian tinaaaa')
print(w)
s = re.findall(r'\btina','tian tinaaaa')
print(s)
v = re.findall(r'\btina','tian#tinaaaa')
print(v)
a = re.findall(r'\btina\b','tian#tina@aaa')
print(a)
'''执行结果如下：
[]
['tina']
['tina']
['tina']'''

测试代码

3、特殊分组用法

特殊字符	说明	表达式	匹配结果
(?P)	分组，除了原有的编号外再指定一个额外的别名	(?Pabc){2}	abcabc
(?P=name)	引用别名为的分组匹配到字符串	(?P\d)abc(?P=id)	1abc1; 5abc5
<number>	引用编号为的分组匹配到字符串	(\d)abc\1	1abc1; 5abc5