梯度下降算法

Posted 2022-04-03 lijiangjun

机器学习模型的参数和超参数
参数：模型参数，可以用数据进行估计，是模型内部的配置变量，通常使用优化算法估计模型参数，优化算法是对参数的可能值进行的一种有效搜索。例如人造神经网络中的权重、支持向量机中的支持向量、
线性回归或逻辑回归中的系数
超参数：必须手动设置，是模型外部的配置变量，模型超参数常应用于估计模型参数的过程中，训练神经网络的学习速率、支持向量机的C和sigma超参数、k邻域中的k。

· 梯度下降是迭代法的一种，可以用于求解最小二乘问题（线性和非线性都可以）。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。在求解损失函数的最小值时，可以通过梯度下降法老一步步的迭代求解，得到最小化的损失函数和模型参数值。反过来，如果我们需要求解损失函数的最大值，这时就需要用梯度上升法来迭代了。在机器学习中，基于基本的梯度下降法发展了两种梯度下降方法，分别为随机梯度下降法和 批量梯度下降法。