Softmax回归(Softmax Regression, K分类问题)

Posted 2020-09-08 LeonHuo

1. Softmax回归：K分类问题， 2分类的logistic回归的推广。其概率表示为：

   

对于一般训练集：

    

    

    

    

系统参数为：

    

1. Softmax回归与Logistic回归的关系

当Softmax回归用于2分类问题，那么可以得到：

    

令θ=θ0-θ1，就得到了logistic回归。所以实际上logistic回归虽然有2个参数向量，但这2个参数向量可以退化到1个参数向量。推广到K个类别，那么就需要K-1个参数向量

1. 参数求解

类似于logistic regression，求最大似然概率，有：

    

其中1{k=y}为真值表达式，例如如果1{1+1=2}，那么值为1，如果1{1+1=0}，那么值为0。对数似然函数有：

    

上式中，仅有，所以有：

    

对上式求导数