流水的算法，铁打的损失函数/MLE

Posted 2020-09-05 徐卜灵

机器学习算法可以说是不少的，如果死记硬背的话，只能当时记得推导过程和步骤，过一段时间就又想不起来了，只能依稀记得一些影子。所以，应该找到算法的一些通用的方法来理解算法的思路以及推导过程。

我认为，最大似然估计和损失函数，就是机器学习算法的通用框架，是掌握机器学习算法的钥匙。

以下，用实际算法来证实这两把钥匙的威力。

1.Linear Regression。可以转化为求

损失函数最小，来求解参数θ。

之后用梯度下降法来实际求解θ。除了梯度下降这一个工具外，还有拟牛顿法，拉格朗日乘子法重要工具。

2.Logistic Regression。有了模型

 

 

后，先求其最大似然函数：

然后对这个似然函数取对数，就得到

　

实际操作中，一般在前面加个负号，改为求最小。

3.SVM