一、数据准备：
全唐诗数据集：https://github.com/todototry/AncientChinesePoemsDB
从郑州大学图书馆网站上爬取下来的全唐诗库，收录了唐代诗人2539人的诗作42863首，共计900卷。
该数据集格式为：每首诗一个txt文件，按照卷进行排序和命名。其中有一些为空白文件，总大小为5MB左右。
中华古诗数据集：https://github.com/jackeyGao/chinese-poetry
唐宋两朝14000名古诗人，55000首唐诗，260000首宋词，用数据分析抽丝剥茧文化内涵。
该数据集格式为：每一千首诗词一个json文件，其中包含平仄、作者、诗句和题目。诗句均为繁体。
[
{
"strains": [
"仄仄仄仄平仄仄，平平仄平○仄仄。",
"平平仄仄平仄平，仄仄平平？仄仄。"
],
"author": "宋太祖",
"paragraphs": [
"欲出未出光辣達，千山萬山如火發。",
"須臾走向天上來，逐却殘星趕却月。"
],
"title": "日詩"
},
...
]
二、全唐诗数据集处理
首先，将4万多个古诗词文件合并为一个大txt，每行一首诗。
为了去除空白文件，将文件读入集合后，将集合元素逐行写入txt中。
如果文件过多或过大，为防止内存溢出，可以使用os.path.getsize('./ks_accumulate.csv')判断文件是否为空，再逐个文件写入大txt。
分析发现部分诗句中含有括号，形如
先生自舞琴。（《三乐达节》）波上人如潘玉儿，掌中花似赵飞燕。（《采莲曲》，以上并见《乐书》）
部分诗句后含有多余文本，形如
弟子已攀桂，先生犹卧云。把得新诗草里论。枯井夜闻邻果落，废巢寒见别禽来。卷六百五十四
用正则表达式对这种文本进行处理，去除括号中的内容和诗句后多余内容。
其中还有少部分问题诗句，如包含多个句号的、有特殊符号的等等。
微官同侍苍龙阙，直谏偏推白马生。。
傩击鼓长笛，瘦鬼染面惟齿白。暗中拽茅鞭，。。倮足朱行戚戚。ń相顾笑声冲庭燎，桃弧射矢时独叫。
卷263_46【九日登高】严维诗家九日怜芳菊，迟客高斋瞰浙江。汉浦浪花摇素壁，西陵树色入秋窗。木奴向熟悬金实，桑落新开泻玉缸。四子醉时争讲德，笑论黄霸屈为邦。
五杂组，四豪客。往复还，阡与陌。不得已，长沙谪。__张荐五杂组，五辛盘。往复还，马上鞍。不得已，左降官。__李崿五杂组，甘咸醋。往复还，乌与兔。不得已，韶光度。__颜真卿五杂组，五色丝。往复还，回文诗。不得已，失喜期。__皎然
进一步分析发现，部分诗句不是以句号结尾的。为了后续任务分析，对感叹号结尾的替换为句号，对没有标点或者多个标点的，去除最后一句，令其句号或问号结尾。但这种语句不多，也可手动处理。
三径何寂寂，主人山上山。亭空檐月在，水落钓矶闲。药院鸡犬静，酒垆苔藓班。知君少机事，当待暮云还
弟兄俱已尽，松柏问何人。闻道茂陵山水好，碧溪流水有桃源。赤城峭壁无人到，丹灶芝田有鹤来。三千宫女露蛾眉，笑煮黄金日月迟。，
浮生共多故，聚宿喜君同。人息时闻磬，灯摇乍有风。霜阶疑水际，夜木似山中。一愿持如意，长来事远公。知
最后从全部诗中提取带有数字的诗句，去除含特殊符号的句子，并将多个句号替换为一个句号。
def MergeTxt(filepath,outfile):
poemset = set()
for parent, dirnames, filenames in os.walk(filepath):
for filepath in filenames:
txtPath = os.path.join(parent, filepath)
f = open(txtPath)
line = f.read()
line = line.replace('！', '。') # 将感叹号替换为句号
line = '。'.join(line.split('。')[:-1])+'。' # 令句子以最后一个句号结尾
poem = re.sub("（.*?）", "", line) # 去除括号里的内容
poem = re.sub("。卷.*", "。", poem) # 去除“卷六百五十四”这种
poemset.add(poem)
print(len(poemset))
k = open(outfile, 'w', encoding='utf-8')
for poem in poemset:
if poem!='':
k.write(poem+"\n")
k.close()
print("merge finished!")
def extractNumberPoemtry(inputfile,outfile):
with open(inputfile,'r',encoding="utf-8") as f1, open(outfile,'w') as f2:
for line in f1:
if '_' in line:
continue
if re.match(".*[一二三四五六七八九十百千万亿].*",line):
f2.write(line.replace('。。','。'))
- f.read()：每次读取整个文件，它通常将读取到底文件内容放到一个字符串变量中。
- f.readlines()：读取整个文件所有行，保存在一个列表(list)变量中，每行作为一个元素，但读取大文件会比较占内存。
注意：
文件在close()之前只能读取一次，不能f.read()之后再f.readlines()，或f.readlines()f.read()之后再这样将输出为空。
三、中华古诗数据集处理
首先从json中提取诗词，合并为一个大txt，每行一首诗词。
这个数据集全部为繁体字，所以涉及到繁简转换，这里用到的工具是langconv.py和zh_wiki.py，只需要把这两个文件下载下来，保存到与代码同一目录下即可。工具放在我的GitHub里，地址见后文。
这个数据集同样有一些特殊字符，如{}，“”，□等。
莽莽荒茨岸，回回乱石滩。雨寒收市早，风急泊舟难。{宀禹}县兵犹鬭，乾坤网正宽。慇懃嘱龙剑，莫久卧波澜。
遥泉滴滴度更迟，秋夜霜天入竹扉。明月自随山影去，清风长送白云归。（同前书卷六）-1033-。
云中古城郁嵯峨，塞上行吟麦秀歌。感时伤古今如此，报主怀恩奈老何！。
子瞻词里贬眉汉，鲁直诗中返哺僧。□□□□□□针，血写南山□□□。□□□□□□□，□□□□□来似。不曾□□□□□，□□□□□□□。
花榭香红烟景迷，满庭芳草绿萋萋，金铺闲掩绣帘底。YY紫燕一双娇语碎，翠屏十二晚峰齐，梦魂消散醉空闺。
金陵朱世英官长沙，或有画箕踞而坐者号大着肚。旧有赞颂皆鄙语，朱为题小诗其上以易之。其尾云“但将贮酒三千锺，莫话容卿数百辈。”馀爱其语有味，更作此诗以广其意。
处理方法类似：
# 合并同一个文件夹下多个txt
def MergeTxt(filepath,outfile):
poemset = set()
for parent, dirnames, filenames in os.walk(filepath):
for filepath in filenames:
txtPath = os.path.join(parent, filepath)
with open(txtPath, encoding='utf-8') as f:
s = json.load(f)
for item in s:
sentence = ''.join(item["paragraphs"])
sentence = Converter('zh-hans').convert(sentence) # 繁体转简体
poem = re.sub("{.*?}", "", sentence) # 去除{}里的内容
poem = re.sub("（.*?）", "", poem) # 去除（）里的内容
poem = re.sub("-.*?。", "", poem) # 去除“-143-。”这种内容
poem.replace("。。", "。") # 将两个句号替换为一个句号
poemset.add(poem)
print(len(poemset))
k = open(outfile, 'w', encoding='utf-8')
for poem in poemset:
if poem != '':
k.write(poem + "\n")
k.close()
print("merge finished!")
# 提取出带数字的诗
def extractNumberPoemtry(inputfile,outfile):
with open(inputfile,'r',encoding="utf-8") as f1, open(outfile,'w',encoding="utf-8") as f2:
for line in f1:
if '□' in line:
continue
if re.match(".*[一二三四五六七八九十百千万亿].*",line):
f2.write(line.replace('。。', '。').replace('！。', '。').replace('！', '。').replace('Y', '').replace('。”。', '。').replace('：“','，').replace('”','').replace('“','，'))
注意：replace如果放在MergeTxt()里，速度会慢，放在extractNumberPoemtry()里更快一些。
最后，将两个数据集中提取的带数字的古诗词合并去重即可。
# 把几个数据集的文本合起来
def mergefile(inputfile1,inputfile2,outfile):
poemset = set()
with open(inputfile1, 'r', encoding="utf-8") as f1, open(inputfile2, 'r', encoding="utf-8") as f2, open(outfile, 'w', encoding="utf-8") as f3:
for line1 in f1:
poemset.add(line1)
for line2 in f2:
poemset.add(line2)
for line in poemset:
f3.write(line)
注意，txt文件可能需要在文本编辑器里手动转成utf-8编码。
三、自找诗句
这部分为从百度知道等地方找的少部分诗句，需要看是否包含在合并数据集里，如果没有，则手动加入。
with open(mergefile, 'r', encoding="utf-8") as f1,open(finefile,'r',encoding="utf-8") as f2:
forfindlines = f2.readlines()
alllines = f1.read()
print(type(alllines))
for line in forfindlines:
if ''.join(line.split('\n')[0]) not in alllines:
print(''.join(line.split('\n')[0]))
最后得到的带数字的古诗词数据集约为十八万首。
处理脚本和繁简转换工具的全部代码在：https://github.com/vivianLL/PoetryWithNumber
