详解线性分类-逻辑回归（Logistic Regression）白板推导系列笔记

Posted 2022-10-10

 

$$

\\begingathered

\\left(x_i,y_i)\\righti=1^N,xi\\in \\mathbbR^p,y_i\\in \\left0,1\\right

\\endgathered

$$

逻辑回归作为线性分类中的软输出，相对于硬输出，输出结果为$y$为各值的概率，总体思路与硬输出是相同的，即

$$

\\beginaligned

线性回归 &\\rightarrow 线性分类\\

\\omega^Tx&\\overset激活函数\\rightarrow \\left\\beginaligned&y_i=\\left0,1\\right&硬分类\\&p(y_i)=p \\in (0,1)&软分类\\endaligned\\right.

\\endaligned

$$

相对于概率生成模型，逻辑回归的概率判别模型是对$p(y|x)$直接建模

 

逻辑回归的激活函数为Sigmoid Function

$$

\\sigma(z)=\\frac11+e^-z\\quad \\left\\beginaligned&z \\to +\\infty&\\lim\\limits_\\sigma(z)=1\\&z \\to 0& \\sigma(z)=\\frac12\\&z \\to -\\infty& \\lim\\limits_\\sigma(z)=0\\endaligned\\right.

$$

显然通过$\\sigma(z)$，将$\\mathbbR \\rightarrow (0,1),\\omega^Tx \\rightarrow P$

二项逻辑回归模型时如下的条件概率分布

$$

\\beginaligned

p_1&=p(y=1|x)=\\sigma(\\omega^Tx)=\\frac11+e^-\\omega^Tx\\

p_0&=p(y=0|x)=1-p(y=1|x)=\\frace^-\\omega^Tx1+e^-\\omega^Tx\\

p(y|x)&=p_1^yp_0^1-y

\\endaligned

$$

对其中的$\\omega$进行最大似然估计

$$

\\beginaligned

\\hat\\omega&=\\mathopargmax\\space\\limits_\\omega\\log p(Y|X)\\

&=\\mathopargmax\\space\\limits_\\omega\\log \\prod\\limits_i=1^Np(y_i|x_i)\\

&=\\mathopargmax\\space\\limits_\\omega\\sum\\limits_i=1^N\\log p(y_i|x_i)\\

&=\\mathopargmax\\space\\limits_\\omega\\sum\\limits_i=1^N(y_i\\log p_1+(1-y_i)\\log p_0)\\

&记p_1=\\psi(x,\\omega)\\

&=\\mathopargmax\\space\\limits_\\omega\\sum\\limits_i=1^N[y_i\\log \\psi(x_i,\\omega)+(1-y_i)\\log(1-\\psi(x_i,\\omega))]

\\endaligned

$$