[机器学习]机器学习之超参数

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/BaiHuaXiu123/article/details/82709308

学习器模型中一般有两种参数：

1. 一种参数是可以从学习中得到
2. 一种无法靠数据里面得到，只能靠人的经验来设定，这类参数就叫做超参数

超参数定义

超参数是在开始学习过程之前设置值的参数。 相反，其他参数的值通过训练得出。

1. 定义关于模型的更高层次的概念，如复杂性或学习能力。
2. 不能直接从标准模型培训过程中的数据中学习，需要预先定义。
3. 可以通过设置不同的值，训练不同的模型和选择更好的测试值来决定

超参数示例：

1. 聚类中类的个数
   
   1. 话题模型中话题的数量
   2. 模型的学习速率
   3. 深层神经网络隐藏层数
   4. 迭代次数
   5. 每层神经元的个数
   6. 学习率 η
   7. 正则化参数
   8. 神经网络的层数
   9. 学习的回合数Epoch
   10. 小批量数据 minibatch 的大小
   11. 代价函数的选择
   12. 权重初始化的方法
   13. 。。。

超参数调节方法

1. 网格搜索
2. 随机搜索
3. 贝叶斯优化
4. 基于梯度的优化
5. 遗传算法的实践