逻辑回归 - 计算成本函数会返回错误的结果
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了逻辑回归 - 计算成本函数会返回错误的结果相关的知识,希望对你有一定的参考价值。
我刚开始在Coursera上学习Andrew Ng关于Machine Learning的课程。第三周的主题是逻辑回归,所以我试图实现以下成本函数。
该假设定义为:
其中g是sigmoid函数:
这就是我的功能当前的样子:
function [J, grad] = costFunction(theta, X, y)
m = length(y); % number of training examples
S = 0;
J = 0;
for i=1:m
Yi = y(i);
Xi = X(i,:);
H = sigmoid(transpose(theta).*Xi);
S = S + ((-Yi)*log(H)-((1-Yi)*log(1-H)));
end
J = S/m;
end
给出以下值
X = [magic(3) ; magic(3)];
y = [1 0 1 0 1 0]';
[j g] = costFunction([0 1 0]', X, y)
j返回0.6931 2.6067 0.6931,即使结果应为j = 2.6067。我假设Xi有问题,但我看不出错误。
如果有人能指出我正确的方向,我将非常感激。
答案
您应该将sigmoid函数应用于参数向量(theta)和输入向量(Xi
,在本例中为行向量)的点积。所以,你应该改变
H = sigmoid(transpose(theta).*Xi);
至
H = sigmoid(theta' * Xi'); % or sigmoid(Xi * theta)
当然,您需要确保将偏置输入1添加到输入中(1到1行到X
)。
接下来,考虑如何对整个操作进行矢量化,以便可以在没有任何循环的情况下编写它。这样会快得多。
另一答案
function [J, grad] = costFunction(theta, X, y)
m = length(y);
J = 0;
grad = zeros(size(theta));
J=(1/m)*((-y'*(log(sigmoid(X*theta))))-((1-y)'*(log(1-(sigmoid(X*theta))))));
grad=(1/m)*(X'*((sigmoid(X*theta))-y));
end
上面的代码片段对于Logistic回归成本和渐变函数非常适用,因为sigmoid函数工作正常。
以上是关于逻辑回归 - 计算成本函数会返回错误的结果的主要内容,如果未能解决你的问题,请参考以下文章