| 项目 | 内容 |
|---|---|
| 这个作业属于哪个课程 | https://edu.cnblogs.com/campus/buaa/BUAA-AI-2019 |
| 这个作业的要求在哪里 | https://edu.cnblogs.com/campus/buaa/BUAA-AI-2019/homework/3215 |
| 我在这个课程的目标是 | 学习，了解并实践深度学习的实际工程应用 |
| 这个作业在哪个具体方面帮助我实现目标 | 了解此两个重要工具，为深度学习项目做准备 |
正文
一、作业描述
学习OpenPAI的使用：
学习文档，并提交OpenPAI job，将体验心得形成博客，选题方向可以是：
（1）介绍OpenPAI，以及使用心得体会，给出文档或者功能等方面的意见和建议
（2）将OpenPAI与其他机器学习平台进行对比或评测
学习NNI的使用
学习文档，并使用NNI进行调参或架构调整，将体验心得形成博客，选题方向可以是：
（1）介绍NNI，自己的心得体会，为NNI提建议或问题，包括文档功能等
（2）将NNI与自己了解的其他自动机器学习工具比较或评测
二、关于OpenPAI
1.是什么
OpenPAI是由微软亚洲研究院和微软（亚洲）互联网工程院联合研发的，支持多种深度学习、机器学习及大数据任务，可提供大规模GPU集群调度、集群监控、任务监控、分布式存储等功能，且用户界面友好，易于操作。其为深度学习量身定做，可扩展支撑更多AI和大数据框架。其提供丰富的运营、监控、调试功能，降低运维复杂度。
2.使用流程
按照文档《在Azure PAI 平台训练对联数据》的描述，可完成Open PAI VS Code Client插件的安装并熟悉其使用流程。完整的流程包括下载完成后的创建OpenPAI集群、上传数据、程序创建、以及提交任务这几个部分。线上训练需要排队，等待时间可能稍长。训练完成后可以将模型训练结果传回本地。
3.心得体会
- 个人虽未使用过这样的深度学习平台，但OpenPAI用起来确实操作界面较友好，初学者上手比较快，也便于工作管理。
- 对于学生这样的个体研究者很实用，因为学生作为个体往往没有GPU等硬件支持，在面对计算量大的训练任务时会有困难。
三、关于NNI
1.是什么
NNI (Neural Network Intelligence) 是微软开源的自动化机器学习调参工具。支持分布式调度和自动化超参数调整，具有可视化界面。同时，它也是自动机器学习（AutoML）的工具包。 它通过多种调优的算法来搜索最好的神经网络结构和（或）超参，并支持单机、本地多机、云等不同的运行环境。
2.使用流程
NNI可在本机、多机以及不同深度学习平台上运行。我尝试了一下在本机上的操作，大概需要以下几步：
1）有一段已编写好的实现深度学习的python，对其启用NNI 的API
2）定义搜索空间（即给定需要寻优得超参数得范围）
3） 定义Experiment，并运行
4）获取结果
3.心得体会
- 调参是深度学习过程中一个重要且较难得问题。此工具可以很好的帮助用户寻找最优参数，从而积累调参经验。
- 最后自动化调参结果可视化效果很好。
- 此工具操作简单，依教程使用较容易，且通过pip即可安装，对习惯python的人来说很好。