NLP项目实践——中文序列标注Flat Lattice代码解读与使用
好久没有更新了，有好几个NLP的实践项目一直没有整理，以后会尽量加大更新频率，给大家带来更多的深度学习应用方面的分享。
关于之前几篇博客的评论和私信，一般我都会回复，如果没有回的话可能是我也不懂的，或者当时回不了的，后来又忘记了。我目前主要是做NLP相关的研究，CV上的很多东西没有跟进，平时CV的项目接触的也少了很多，所以很多问题我也不明白，或者没有时间去仔细查代码。对于我没有及时回复的问题和解答不了的问题，在这里道个歉。
进入正题之前，先声明一下，这篇文章是我在阅读原文和项目代码的基础上自己理解和修改的，可能存在不正确不恰当的地方，不能代表原项目本意，包括一些参数的解释，未必完全正确。如果要深入了解这个项目，请仔细阅读原文与代码。
1. 原文与项目地址
1.1 原文
原文是《FLAT：Chinese NER Using Flat-Lattice Transformer》，解决的是中文命名实体识别的任务，在这里不过多的介绍原理。如果想了解原理上的细节或者Lattice在NER上的应用，可以直接在站内或者某乎搜索关键词，已经有很多人详细介绍过了。文章提出的方法在多个数据集上达到了SOTA结果，目前是中文NER的一个主流的方法。
这篇博客虽然叫代码解读，但是我不会把每一个类、每一个方法都解释一遍，因为项目还是比较复杂的，我只会大体介绍其中相对重要的内容，把代码的运行方法讲清楚。如果有细节上的问题，可以留言或私信与我讨论。如果是原理方面的问题，建议先去多看看别人的介绍，把原理搞清楚，不清楚原理的话，想看懂代码是很难的。另外，不能完全以论文为准，有些处理细节在论文原文中没有详细的介绍。
如果我写的有不正确的地方，还请大家帮忙指正。
1.2 项目
项目地址：https://github.com/LeeSureman/Flat-Lattice-Transformer
项目分为V0和V1两个版本，其中V0是没有Bert的版本，V1是有Bert的版本。由于我个人的疏忽，一开始看的项目是原来的旧版本，只有V0，所以这次代码解读以V0为主，V1在代码结构上与V0比较相似，我在尝试复现论文结果时，在MSRA数据集上f1只达到了91，没有到论文的96，回去看git才发现原来还有个V1版本，后来在加入bert编码之后，复现了论文中96的结果。
原项目中并没有给出模型如何进行预测等使用，在这篇博客中将会给出简单的预测方法。
2. 运行环境
代码是使用pytorch实现的，依赖的模块如下：
Python: 3.7.3
PyTorch: 1.2.0
FastNLP: 0.5.0
Numpy: 1.16.4
（1）关于pytorch
我使用的pytorch 1.5.0，只要是1.0以上的版本应该都没有问题。
（2）关于FastNLP
FastNLP是作者团队自己做的一个NLP工具包，跟这个项目比较贴合，用起来还挺好用的，FLAT的代码中很多类都是定义在FastNLP中的。
与这个项目匹配的是0.5.0的版本，建议安装这个版本，严格按照作者的指导，会比较省事儿。如果你跟我一样安装了0.5.5的新版的FastNLP，在之后的代码执行过程中可能会遇到些问题。不过没有关系，都是比较容易解决的，我在下面也会进行说明。
3. 项目结构
项目的整体目录结构如下：
这个目录并不是原作者git项目的结构，而是我整理之后的，直接下载我百度云上传的文件，解压之后就是这样的。
链接：https://pan.baidu.com/s/1TGLb44HNQ2ypotxIYbsVJw
提取码：2c2y
所做的整理主要如下：
（1）下载了相关的词向量文件数据集
需要下载几个词向量文件和数据集如下
| 文件 | 默认值 | 解释 |
|---|---|---|
| yangjie_rich_pretrain_unigram_path | ‘./gigaword_chn.all.a2b.uni.ite50.vec’ | 单字符的预训练vec编码 |
| yangjie_rich_pretrain_bigram_path | ‘./gigaword_chn.all.a2b.bi.ite50.vec’ | 双字符的预训练vec编码 |
| yangjie_rich_pretrain_word_path | ‘./ctb.50d.vec’ | 词语的预训练vec编码 |
| yangjie_rich_pretrain_char_and_word_path | ‘./yangjie_word_char_mix.txt’ | 词语和字符混合的编码，由prepocess生成 |
| msra_ner_cn_path | ‘./MSRANER’ | msra数据集位置 |
（2）把V0和V1两个文件夹里边的main搬出来了，防止import的问题
（3）load_data和fastNLP_model两个脚本是有V0和V1的区别的。如果执行的是flat_main.py，则会调用不带v1的脚本，如果是flat_main_v1.py，则会调用带v1的脚本。
（4）MSRA是MSRA的序列标注数据集
（5）cn-wwm是一个空文件夹，需要下载中文whole-word-mask的bert预训练权重文件的pytorch版，要求以bin为后缀名，该文件夹下还需要有json格式的bert config文件和词表。
方便起见我也都传百度云了。链接如下：
链接：https://pan.baidu.com/s/1LdSYaFvgKdhLMXuSK7Fx-w
提取码：thct
4. 参数介绍
项目中出现了大量的可调参数，而且，多数参数并没有给出含义的介绍，这让我在阅读代码时非常困扰，我在代码中挨个去找了这些参数，推断出参数的含义如下总结。
4.1 数据加载参数：
| 参数 | 解释 | 默认值 |
|---|---|---|
| dataset | 数据集名称 | ‘msra’ |
| bigram_min_freq | bigram编码时考虑的最小词频 | 1 |
| char_min_freq | 单个汉字编码时考虑的最小词频 | 1 |
| word_min_freq | 词语编码时考虑的最小词频 | 1 |
| lattice_min_freq | 添加lattice编码时考虑的最小词频 | 1 |
| train_clip | 是否将训练集裁剪到200以下 | False |
| only_train_min_freq | 仅对train中的词语使用min_freq筛选 | True |
| only_lexicon_in_train | 只加载在trian中出现过的词汇 | False |
| number_normalized | 0:不norm;1:char;2:char&bi;3:char&bi&lattice | 0 |
| load_dataset_seed | 随机种子 | 100 |
4.2 bert相关参数（V1）：
bert相关的参数只有在V1版本中才会用到。
| 参数 | 解释 | 默认值 |
|---|---|---|
| use_bert | 是否使用bert编码 | 1 |
| only_bert | 是否只使用bert编码 | 0 |
| fix_bert_epoch | 多少轮之后开始训练bert | 20 |
| after_bert | 如果只使用bert，bert之后的层 | mlp |
4.3 模型参数：
| 参数 | 解释 | 默认值 |
|---|---|---|
| ff | feed-forward中间层的节点个数 | 3,修正为hidden * ff |
| hidden | SE位置编码和三角函数编码共用的编码维度 | 会修正为head_dim * head |
| layer | Transformer中Encoder_Layer的数量 | 1 |
| head | multi-head-attn中head的个数 | 8 |
| head_dim | multi-head-attn中每个head的编码维度 | 20 |
| scaled | multi-head-attn中是否对attn标准化(attn_raw/sqrt(per_head_size)) | False |
| attn_ff | 是否在self-attn layer最后加一个linear层 | False |
| ff_activate | feed-forward中的激活函数 | ‘relu’ |
| use_bigram | 是否使用双字符编码 | 1 |
| use_abs_pos | 是否使用绝对位置编码 | False |
| use_rel_pos | 是否使用相对位置编码 | True |
| rel_pos_shared | 是否共享相对位置，无效参数 | True |
| add_pos | 是否在transformer_layer中通过concat加入位置信息，无效参数 | False |
| learn_pos | 绝对和相对位置编码中编码是否可学习(是否计算梯度) | False |
| pos_norm | 是否对位置编码进行norm(pe/pe_sum) | False |
| rel_pos_init | 相对位置编码初始化编码方向，0: 左向右；1：右向左。无效参数 | 1，但是实际调用的类中写死为0 |
| four_pos_shared | 4个位置编码是不是共享权重 | True |
| four_pos_fusion | 4个位置编码融合方法’ff’, ‘attn’, ‘gate’, ‘ff_two’, ‘ff_linear’ | ff_two |
| four_pos_fusion_shared | 要不要共享4个位置融合之后形成的pos | True |
| k_proj | attn中是否将key经过linear层 | False |
| q_proj | attn中是否将query经过linear层 | True |
| v_proj | attn中是否将value经过linear层 | True |
| r_proj | attn中是否将相对位置编码经过linear层 | True |
| embed_dropout | embedding中的dropout | 0.5 |
| ff_dropout | ff层中的dropout | 0.15 |
| ff_dropout_2 | 第二个ff层中的dropout | 0.15 |
| attn_dropout | attention中的dropout | 0 |
4.4 训练参数
训练参数相对容易理解，就不过多解释了（偷懒），把默认值列出来如下。
epoch = 10
batch = 1
optim = 'sgd' # sgd|adam
lr = 1e-3
warmup = 0.1
embed_lr_rate = 1
momentum = 0.9
update_every = 1
init = 'uniform' # 'norm|uniform'
self_supervised = False
weight_decay = 0
norm_embed = True
norm_lattice_embed = True
test_batch = batch // 2
5. 模型结构
模型分为V0和V1两个版本。主要区别就是有没有使用Bert，所调用的类的名称也有所不同，但main脚本的流程没有太大的区别，都是按照如下的过程进行的：
首先加载数据，创建fastNLP中Dataset类型的数据集，可以通过Dataset[‘train’]的方式去索引训练集、验证集和测试集。然后每一个数据集里边，又包含几个字段。
| 字段名 | 含义 |
|---|---|
| char | 原文本，以字为分割 |
| target | 标签 |
| bigram | 两两连续分割的字符 |
equip lexicon是给数据集添加lattice的过程，就是去词库里边匹配词汇，然后放在原来的token embedding后边。
接下来会读入数据的长度，给dataset添加要给seq_len的字段。然后对所有的embedding进行normalization。
上述准备工作完成之后，就会建立模型，建立哪一种模型会根据用户输入的args进行判断。简单画了两个图，如下。
V0版本的模型结构如下：
V1版本的模型结构如下：
6. 模型训练
以MSRA数据集为例，训练只需要在项目目录下执行
python flat_main.py --dataset msra
可以根据训练参数去传参。
在这里总结一下可能遇到的问题。如果你是直接执行我上传在百度云中的代码，可能不会遇到这些问题，因为我都已经修改过了。
（1）import 报错。无法import _get_file_name_base_on_postfix函数。
这个错误很明显，函数名以下短线开头，不能被import。只需要把这个函数复制到报错的脚本load_data.py中就可以了。
（2）ncoding_type 不对。
在代码里改一下就好了，例如MSRA数据集，改成bioes，CLUE数据集，改成bio，就可以了。
（3）缺少数据类型‘chain’。
这个来自于\JetBrains\PyCharm\python_stubs-1902731831\itertools.py这个脚本，把这个脚本复制到项目根路径，然后import它就可以了。在报错的脚本中添加：
from itertools import chain
（4）Bert相关的问题
如果是用的V1版本代码，可以设置使用Bert编码，如果使用0.5.5的FastNLP则会遇到若干问题，问题和解决方法如下。
BertModel的名称不对：
这是因为FastNLP中这个类的名字变了，原本是_WordBertModel，改成了_BertWordModel，直接复制这个类，改一下名字，丢在fastNLP_Module_v1.py里边就可以了。
然后会报缺少bert tokenizer，也是直接把fastNLP里边的\modules\tokenizer\bert_tokenizer.py里边相关的代码复制到fastNLP_Module_v1.py就可以解决了。
（5）tqdm引发的报错
如果是在jupyter中执行训练，可能会由于tqdm版本的问题引发报错，遇到这种情况只需要把训练参数中的use tqdm给关掉就可以了。
7. 模型保存、加载与预测
由于作者提供的只包含了训练，没有设置模型的保存、加载与预测相关的功能，所以我在这补充一下这几方面。
7.1 模型保存
模型在训练的时候，利用了fastNLP中的一个名为Trainer的类，通过查看这个类的代码可以发现，这个类是写了保存方法的。
只需要在flat_main.py中，生成Trainer的位置加一个参数save_path就可以了。
trainer = Trainer(datasets['train'], model, optimizer, loss, args.batch,
n_epochs=args.epoch,
dev_data=datasets['dev'],
metrics=metrics,
device=device, callbacks=callbacks, dev_batch_size=args.test_batch,
test_use_tqdm=False, check_code_level=-1,
update_every=args.update_every,
save_path='your_path/flat_lattice/{}/'.format(args.dataset))
但是我这样修改了之后，在保存的时候还是报错了，所以我又把Trainer的save和load方法修改了一下。修改后的代码如下：
def _save_model(self, model, model_name):
if self.save_path is not None:
model_path = os.path.join(self.save_path, model_name)
if not os.path.exists(self.save_path):
os.makedirs(self.save_path, exist_ok=True)
if _model_contains_inner_module(model):
model = model.module
torch.save(model.state_dict(), model_path) # 只改了这一行
def _save_model(self, model, model_name):
if self.save_path is not None:
model_path = os.path.join(self.save_path, model_name)
model.load_state_dict(torch.load(model_path))
elif hasattr(self, "_best_model_states"):
model.load_state_dict(self._best_model_states)
else:
return False
return True
这样改好了之后，执行flat_main.py脚本进行训练之后，就会在save_path路径下保存一个模型权重文件。
7.2 模型加载
模型加载很简单，只需要在flat_main.py中，实例化model之后，load之前保存的权重文件就可以了。
model_path = '/msra/best_Lattice_Transformer_SeqLabel_f_2021-03-03-14-55-31-899501'
states = torch.load(model_path).state_dict()
model.load_state_dict(states)
7.3 生成预测
作者并没有给出如何预测，但是在fastNLP中实际上是定义了用于预测的类的，名为predictor，去看一下代码的话，这个类其实写的很简单，但是很实用。使用方法如下：
from fastNLP.core.predictor import Predictor
predictor = Predictor(model) # 这里的model是加载权重之后的model
test_label_list = predictor.predict(datasets['test'][:1])['pred'][0] # 预测结果
test_raw_char = datasets['test'][:1]['raw_chars'][0] # 原始文字
上面代码中的test_label_list就在test上预测出来的label，label对应的BIO可以通过以下代码查看：
for d in vocabs['label']:
print(d)
然后我写了一个简单的方法把label转换成实体（仅适用于MSRA数据集），如下所示：
def recognize(label_list, raw_chars):
"""
根据模型预测的label_list，找出其中的实体
label_lsit: array
raw_chars: list of raw_char
return: entity_list: list of tuple(ent_text, ent_type)
-------------
ver: 20210303
by: changhongyu
"""
if len(label_list.shape) == 2:
label_list = label_list[0]
elif len(label_list) > 2:
raise ValueError('please check the shape of input')
assert len(label_list.shape) == 1
assert len(label_list) == len(raw_chars)
# 其实没有必要写这个
# 但是为了将来可能适应bio的标注模式还是把它放在这里了
starting_per = False
starting_loc = False
starting_org = False
ent_type = None
ent_text = ''
entity_list = []
for i, label in enumerate(label_list):
if label in [0, 1, 2]:
ent_text = ''
ent_type = None
continue
# begin
elif label == 10:
ent_type = 'PER'
starting_per = True
ent_text += raw_chars[i]
elif label == 4:
ent_type = 'LOC'
starting_loc = True
ent_text += raw_chars[i]
elif label == 6:
ent_type = 'ORG'
starting_org = True
ent_text += raw_chars[i]
# inside
elif label == 9:
if starting_per:
ent_text += raw_chars[i]
elif label == 8:
if starting_loc:
ent_text += raw_chars[i]
elif label == 3:
if starting_org:
ent_text += raw_chars[i]
# end
elif label == 11:
if starting_per:
ent_text += raw_chars[i]
starting_per = False
elif label == 5:
if starting_loc:
ent_text += raw_chars[i]
starting_loc = False
elif label == 7:
if starting_org:
ent_text += raw_chars[i]
starting_org = False
elif label == 13:
ent_type = 'PER'
ent_text = raw_chars[i]
elif label == 12:
ent_type = 'LOC'
ent_text = raw_chars[i]
elif label == 14:
ent_type = 'PER'
ent_text = raw_chars[i]
else:
ent_text = ''
ent_type = None
continue
if not (starting_per or starting_loc or starting_org) and len(ent_text):
# 判断实体已经结束，并且提取到的实体有内容
entity_list.append((ent_text, ent_type))
return entity_list
recognize(test_label_list, test_raw_char)
# Out：
# [('中共中央', 'ORG'),
# ('中国致公党', 'ORG'),
# ('中国致公党', 'ORG'),
# ('中国共产党中央委员会', 'ORG'),
# ('致公党', 'ORG')]
8. 应用在自己的数据集
在这里我以中文命名实体识别数据集CLUE NER 2020为例，介绍怎样将FLAT用在自己的数据集上。
（1）数据格式转换。
首先，不管你的数据格式原来是什么样子，都要转成一行一个字符的格式，例如：
浙 B-CMP
商 I-CMP
银 I-CMP
行 I-CMP
企 O
业 O
信 O
贷 O
部 O
并且命名为train.char.bmes，然后创建一个名为CLUE2020的文件夹，把train，dev和test都放进去。
（2）设置路径
打开paths.py，增加一行：
clue_2020_ner_path = './CLUE2020'
（3）写加载数据方法
打开load_data_v1.py，仿照load_ontonotes4ner，写一个新的方法load_clue_2020，几乎就是复制粘贴，改一下加载数据的路径和缓存路径就好了。
（4）在main中修改加载的数据集
打开flat_main_v1.py，修改dataset为clue，以及读取数据的时候，加一个判断，如果dataset为clue，调用（3）中刚写的load_clue的方法。
完成了这几步之后，训练时就可以用自己的数据集啦。
python flat_main_v1.py --dataset clue
然后就可以根据7中的步骤去进行预测了，记得自己写一下recognize的方法，这个识别方法是由数据集的标注格式决定的。
注意一点，缓存的名字是跟着dataset的名字走的，如果你换了数据集的实际内容，而数据集的名称没有改的话，记得去cache里边把缓存清理掉，不然模型运行的时候会有限去找缓存，而缓存存的还是原来的数据集。
这篇文章到这里就结束了，如果有任何关于Flat命名实体识别相关的问题，无论是原理还是代码，可以在评论区留言交流，如果我能解答的话会回复的。如果没有回复，可以给我发私信。
如果对你有所帮助的话，记得一键三连支持一下博主。我们下期再见。