参考链接：https://www.missshi.cn/api/view/blog/5a2273939112b35ff3000002
在本文中，我们将了解一些机器学习中的超参数调优、Batch正则化及深度学习框架。
主要包括：
1. 超参数调试经验
2. 深层神经网络中隐藏层的归一化
3. Batch正则化
4. Softmax分类回归问题
5. 深度学习框架简介
1.超参数调试经验：
① 假设有两个超参数：参数1和参数2。 我们可以将两个点构成一个平面，并在平面上均匀选择一系列点，并找出其中的最优点。 在深度学习应用中，我们有时无法确定哪些超参数的影响更大，通过随机选择点，可以达到在每个维度上有更多的值进行选择，从而得到相对更好的结果。
② 从粗粒度到细粒度：首先对在整个空间中随机选择一系列点，并找出其中的相对较优点集中的区域；将该区域进行上述方法，并在该区域中中随机选择一系列点，并找出其中的相对较优点集中的区域
2. 深层神经网络中隐藏层的归一化：（对所有层的输入归一化）
对输入数据进行归一化可以有效的提升训练速度，原因在于我们将模型的最优值范围变得更加规则。
3.Batch归一化
4.Softmax分类回归问题：
Softmax是解决多分类问题的常见方法。 在前面 机器学习（七）：CS229ML课程笔记（3）——广义线性模型 学习过多分类回归模型（Softmax regression）在广义线性模型下的推导。
5.深度学习框架简介：
随着神经网络变得越来越复杂，每次自己从零开始构建网络已经变得成本越来越高。
幸运的是，目前有很多强大的神经网络框架可以供我们直接调用。
利用这些框架，我们将不再需要纠结于如何实现网络计算，如何进行反向传播，从而可以把更多的精力用于模型结构的设计与调优上。
目前，流程的深度学习框架有很多，如下图所示：
每个框架都有其特点和适用的场景。同时，这些框架也在不断的改进和维护。
那么，该如何选择框架呢？
- 易用，易编程
- 计算效率高
- 是否会长时间开源
- 支持的语言
根据这几个特点，大家可以选择自己感兴趣的框架进行学习。