AllenNLP实践——参数初始化与加载预训练模型

AllenNLP参数初始化源码可以阅读allennlp.nn.initializers，他们将加载预训练模型也作为一种参数初始化方式，加到这部分。

使用方法

1. 模型的构造参数设置一项initializer: InitializerApplicator = InitializerApplicator()，用initializer来对模型参数进行不同的初始化。
2. 在__init__最后加一行initializer(self)
3. 设置配置文件,举个例子：

"model":
{
  ...,
 "initializer": 
      [
            [".*_highway_layer._layers.*.weight", {"type": "xavier_normal"}],
            [".*highway_layer._layers.*bias", {"type": "constant", "val": 0}],
            [
                ".*_text_field_embedder.*|_model_highway_layer._layers.*|.*encoding_proj.*|.*_phrase_layer.*|.*_modeling_layer.*|.*predictor.*|.*_matrix_attention.*",
                {
                    "type": "pretrained",
                    "weights_file_path": "./weights.th"
                }
            ]
      ]
}

• 用正则表达式确定需要初始化的层，常用的是“.*”，表示匹配任意个数的任意字符
• 我在使用过程中注意到需要避免对Layernorm初始化，bias不能用xavier_normal
• 可以对不同的层进行不同的初始化，比如在修改一部分结构之后，可以对其他部分用预训练模型初始化，对修改的部分用其他初始化方式