配置文件

chainer 配置

{
  "chainer": {
    "in": ["x"],
    "in_y": ["y"],
    "pipe": [
      ...
    ],
    "out": ["y_predicted"]
  }
}

chainer 是 DeepPavlov 的核心概念，它从异构组件（基于规则/机器学习/深度学习）中建立了一个管道，作为一个整体从管道进行训练和推断。
管道中的每个组件的输入和输出都是名称的数组，例如：

"in": ["tokens", "features"]
"out": ["token_embeddings", "features_embeddings"]

可以把一个组件的输出作为另一个组件的输入：

{
  "class": "deeppavlov.models.preprocessors.str_lower:StrLower",
  "in": ["x"],
  "out": ["x_lower"]
},
{
  "name": "nltk_tokenizer",
  "in": ["x_lower"],
  "out": ["x_tokens"]
}

管道中的每个组件都必须要执行 _call_() 方法，必须有 name 参数或者 class 参数。
- name 参数相当于是这个组件的注册代号
- class 参数的格式：module_name:ClassName

它也可以有其他的参数，也就是 _init_() 方法中的参数，当一个实例初始化的时候，配置中的值可以改写 _init_() 中参数的默认值。

通过id和ref参数，可以重用管道中的组件来处理数据的不同部分: （并不知道有啥用…重用它干啥，为啥不直接再新建一个组件？）

{
  "name": "nltk_tokenizer",
  "id": "tokenizer",
  "in": ["x_lower"],
  "out": ["x_tokens"]
},
{
  "ref": "tokenizer",
  "in": ["y"],
  "out": ["y_tokens"]
},

in : 推理过程中输入的数据字段列表,是一个字典,包含text(用户说的话)，intents(包含slots:语句里的特征,act:反馈的动作),prev_rep_act之前反馈的动作(循环神经网络需要)

    {
        'text': 'traditional', 
        'intents': 
            [
                {
                    'slots': 
                    [
                        ['food', 'traditional']
                    ],
                    'act': 'inform'
                }
            ], 
        'prev_resp_act': 'welcomemsg'
    }

in_y : 也是一个字典,包含text(提供服务的人说的话)，act(回复的话的类型)

    {
        'text': 'Hello, welcome to the Cambridge restaurant system. You can ask for restaurants by area, price range or food type. How may I help you?', 
        'act': 'welcomemsg'
    }

????out : 输出的话的每个单词索引

Training – 训练

对于训练组件来说，有两个抽象类：Estimator 和 NNModel
- Estimator：适用于任何没有批处理或早期停止的数据，因此在管道初始化时就可以完成。 fit() 方法是必须实现的。一个例子就是 Vocab。
- NNModel：需要更复杂的训练，它只能在监督模式下训练（而 Estimator 可以在监督和非监督两种模式下训练）。这个过程需要好多轮进行周期验证和日志记录。 train_on_batch() 方法是必须实现的。

训练由 train_model_from_config() 函数触发。

train 配置

Estimator 类型训练需要有 fit_on 参数，里面包含输入参数名的列表。
NNModel 类型训练需要有 in_y 参数，里面包含ground truth回答名字的列表。（在看英文文献的时候，经常会看到 ground truth 这个词汇，翻译的意思是地面实况，放到机器学习里面，再抽象点可以把它理解为真值、真实的有效值或者是标准的答案。）
例如：

[
  {
    "id": "classes_vocab",
    "name": "default_vocab",
    "fit_on": ["y"],
    "level": "token",
    "save_path": "vocabs/classes.dict",
    "load_path": "vocabs/classes.dict"
  },
  {
    "in": ["x"],
    "in_y": ["y"],
    "out": ["y_predicted"],
    "name": "intent_model",
    "save_path": "classifiers/intent_cnn",
    "load_path": "classifiers/intent_cnn",
    "classes_vocab": {
      "ref": "classes_vocab"
    }
  }
]

除了 chainer ,训练管道的配置应该还有三个元素: dataset_reader , dataset_iterator 和 train 。如下所示：

{
  "dataset_reader": {
    "name": ...,
    ...
  }
  "dataset_iterator": {
    "name": ...,
    ...
  },
  "chainer": {
    ...
  }
  "train": {
    ...
  }
}

简化版的训练管道包含两个元素： dataset 和 train.
- dataset 元素目前可以用来训练csv和json格式的分类数据。

训练参数

epochs —— 训练NNModel的最大轮数，默认是-1（代表无穷）
batch_size —— 批量大小
metrics —— 用于评估模型的注册的指标列表，列表中的第一个指标用于早期停止
注：早期停止（Early Stop）神经网络中具体的做法如下：
1. 首先将训练数据划分为训练集和验证集（划分比例为2:1）；
2. 在训练集上进行训练，并且在验证集上获取测试结果（比如每隔５个epoch测试一下），随着epoch的增加，如果在验证集上发现测试误差上升，则停止训练；
3. 将停止之后的权重作为网络的最终参数。
Early Stop能够防止过拟合。
metric_optimization —— 最优化度量，即最大化（maximize ）或最小化（minimize ）度量，默认为最大化（maximize ）
validation_patience —— 早期停止前，在一行中有多少次验证指标没有改进，默认值为5
val_every_n_epochs —— 验证管道的频率，默认为-1(从不)
log_every_n_batches，log_every_n_epochs —— 计算训练数据指标的频率，默认为-1(从不)
validate_best，test_best —— 在有效和测试数据上用于推断保存的最佳模型的标志，默认为true
tensorboard_log_dir —— 在训练期间编写日志度量的路径。使用tensorboard可以实现可视化度量图。

DatasetReader

读取数据，并以特定的格式返回。一个具体的DatasetReader类应该从这个基类继承并注册一个代号:

from deeppavlov.core.common.registry import register
from deeppavlov.core.data.dataset_reader import DatasetReader

@register('dstc2_datasetreader')
class DSTC2DatasetReader(DatasetReader):

DataLearningIterator & DataFittingIterator

DataLearningIterator —— 形成训练所需的数据集(‘train’，’valid ‘，’test’)，并将它们分成批处理。一个实例需要继承 deeppavlov.data.data_learning_iterator.DataLearningIterator 这个类，并注册代号。这是个基类，也可以直接使用。

DataFittingIterator —— 对所提供的数据集进行迭代而不需要(‘train’，’valid ‘，’test’)分割，对于不需要训练的 Estimator 很有用。

DeepPavlov配置文件