1:模型评估
模型评估是用指标反映模型在预期目标下精度,根据模型任务决定观察指标,作为在训练中调整超参数,评估模型效果的重要依据。metric函数的输入为当前模型的预测preds和labels,输出是自定义的。metric函数和loss函数非常相似metric函数和loss函数非常相似,但是metric并不是模型训练网络组成部分。
用户可以通过训练网络得到当前的预测preds和labels,在python端定制metric函数;也可以通过定制C++Operator的方式,在GPU上加速metric计算。paddle.fluid.metrics模块包含该功能。
分类任务常用指标为分类指标,Fluid中包含了常用分类指标,例如Precision,Recall,Accuracy等。
2:Visual DL工具
Visual DL是一个面向深度学习任务设计的可视化工具,包含scalar、参数分布、模型结构、图像可视化等工等,项目正处于告诉迭代中,新的组建会不断加入。
目前大多数DNN平台均使用Python作为配置语言,VisualDL原生支持python的使用, 通过在模型的Python配置中添加几行,便可以为训练过程提供丰富的可视化支持。
除了Python SDK之外,VisualDL底层采用C++编写,其暴露的C++ SDK也可以集成到其他平台中, 实现原生的性能和定制效果。
组件:
VisualDL目前支持4种组件:
2.1:graph
2.2scalar
2.3image
2.4histogram
2.1 graph
兼容 ONNX(Open Neural Network Exchange)[https://github.com/onnx/onnx], 通过与 python SDK的结合,VisualDL可以兼容包括 PaddlePaddle, pytorch, mxnet在内的大部分主流DNN平台。
2.2scalar
可以用于展示训练测试的误差趋势
2.3 image
可以用于可视化任何tensor,或模型生成的图片
2.4Histogram
用于可视化任何tensor中元素分布的变化趋势