机器学习笔记：参数&超参数

Posted 2021-11-22 UQI-LIUWJ

1 参数

简单来说，模型参数就是模型内部的配置变量

1.1 参数的特征

具体来讲，模型参数有以下特征：

（1）进行模型预测时需要模型参数
（2）模型参数值可以定义模型功能
（3）模型参数用数据估计或数据学习得到
（4）模型参数一般不由实践者手动设置
（5）模型参数通常作为学习模型的一部分保存

通常使用优化算法估计模型参数，优化算法是对参数的可能值进行的一种有效搜索。

1.2 参数举例

模型参数的一些例子包括：

（1）神经网络中的权重
（2）支持向量机中的支持向量
（3）线性回归或逻辑回归中的系数

2 超参数

模型超参数是模型外部的配置，其值不能从数据估计得到。

2.1 超参数特征

具体特征有：

（1）模型超参数常应用于估计模型参数的过程中
（2）模型超参数通常由实践者直接指定
（3）模型超参数通常可以使用启发式方法来设置
（4）模型超参数通常根据给定的预测建模问题而调整

 对于给定的问题，我们无法知道模型超参数的最优值。但我们可以使用经验法则来探寻其最优值，或复制用于其他问题的值，也可以通过反复试验的方法。

2.2 超参数举例

模型超参数的一些例子包括：

（1）训练神经网络的学习速率
（2）支持向量机的C和sigma超参数
（2）k邻域中的k

总而言之，模型参数是从数据中自动估计的，而模型超参数是手动设置的，并用于估计模型参数的过程。