对数回归的成本函数

Posted 2020-09-29 郑哲

对于线性回归，我们不能使用相同的成本函数，因为logistic函数会导致输出波动，导致许多局部最优解。换句话说，它不是一个凸函数。

相反，我们的逻辑回归的成本函数看起来像：

 

当y = 1，我们得到如下图J（θ）与H(θ)

 

 

当y = 0，我们得到如下图J（θ）与H(θ)

 

 

 

如果我们的正确答案y是0，那么如果我们的假设函数输出0，则代价函数为0。如果我们的假设接近1，那么代价函数将接近无穷大。
如果我们的正确答案y是1，那么如果我们的假设函数输出1，代价函数将是0。如果我们的假设接近0，那么代价函数将接近无穷大。
注意写作的成本函数，这样保证了J（θ）是Logistic回归。