中文文本预处理

中文文本预处理

# -*- coding: utf-8 -*-
import regex as re

str_keyword = "第三条"
res = str_keyword.isdigit() #判断是否是纯数字
######################33

##########################
#判断是否含有%号
if '%' in str_keyword:
    print ('Exist')
else:
    print('no exist')


#判断是否含有"第几条"
bianliang = re.fullmatch(r'((第)(.?)(条|章))',str_keyword)
if bianliang:
    print('匹配上了第几条')

######################################
i_text_str ='我123爱你%%中国'
r1 = u'[a-zA-Z0-9’!"#$%&\'()*+,-./:;<=>?@，。?★、…【】《》？“”‘’！[\\]^_`{|}~]+'#用户也可以在此进行自定义过滤字符
tem=re.sub(r1, '',i_text_str) #过滤内容中的各种标点符号
print('tem ====',tem)