机器学习中的参数和超参数

一. 模型参数（Parameters）

1. 模型内部的配置变量，例如：神经网络中的权重w和偏置b，SVM中的支持向量，线性回归或逻辑回归中的系数；
2. 使用数据进行估计（优化算法）或者学习得到；

二. 模型超参数（Hyper-parameters）

1. 模型外部设置的变量，例如：神经网络中的学习速率、迭代次数、隐藏层层数、每层的神经元个数、，SVM中的C和sigma，k近邻中的k；
2. 在学习过程中不会改变的模型参数，由人直接设定或者搜索算法选择，用来估计模型参数。