逻辑回归(Logistic Regression)

Posted 2023-01-09 劳埃德·福杰

1.二分类(Binary Classification)问题

二分类问题就是简单的“是否”、“有无”问题，例如判断一张图片中是否有猫。

对机器来说，分辨这张图，需要读取这幅图的数字特征。

计算机保存一张图片，要保存三个独立矩阵，分别对应红绿蓝三个颜色通道。

我们可以定义一个特征向量x，把图片的所有像素值取出来放到这个特征向量里。如果这个图片是64x64的，那么这个特征向量的总维度n=64x64x3=12288。

识别这张图片，就是以图片的的特征向量x作为输入，预测输出的结果标签y是0还是1。

2.逻辑回归(Logistic Regression)

逻辑回归是一种用于解决二分类问题的机器学习方法，用于估计某种事物的可能性。

例：如果我们想要知道一张图片是猫的概率 ŷ。已知特征向量x和logistic回归的两个参数：w(n维向量)和b(实数)，如何预测 ŷ ?

? 不行，考虑到0<=ŷ<=1，这样的线性回归很难实现。

所以要在外面套一个sigmoid 函数：，如下图，是一条值域在[0,1]的平滑曲线。

为了训练logistic回归模型的参数w和b，需要定义一个成本函数(cost function)。

首先，我们定义一个损失函数(Loss function)来衡量预测值 ŷ 和y的实际值有多近：。

显然，我们希望损失函数尽可能地小。

y=0，f(ŷ,y) = -log(1-ŷ)，f 要小，ŷ要尽可能小，考虑到ŷ的取值范围，我们希望ŷ趋近于0。

y=1，f(ŷ,y) = -y㏒(ŷ)，f 要小，ŷ要尽可能大，我们希望ŷ趋近于1。

Loss function是在单个训练样本中定义的，它衡量了在单个训练样本上的表现。

cost function 衡量的是在全体训练样本上的表现，如下：

。

3.梯度下降