大数据技术能力提升_4logistic学习

Posted 2020-11-22 CQ_LQJ

logistic学习

标签（空格分隔）： logistic sigmod函数 逻辑回归 分类

---

前言：
??整体逻辑回归比线性回归难理解点，其还需要《概率论与数理统计》中“二项分布”知识点的理解。
??二项分布的公式：(P(X=k)=leftlgroupegin{matrix}ncr p end{matrix} ight group p^k (1-p)^{n-k},0<p<1,k=0,1,cdots,n.)
??表示在n重伯努利A实验中，发生K的概率为多少。跟n次硬币实验一致。
简介：
??logistic回归又称logistic回归分析，是一种广义的线性回归分析模型，常用于数据挖掘，疾病自动诊断，经济预测等领域。例如，探讨引发疾病的危险因素，并根据危险因素预测疾病发生的概率等。以胃癌病情分析为例，选择两组人群，一组是胃癌组，一组是非胃癌组，两组人群必定具有不同的体征与生活方式等。因此因变量就为是否胃癌，值为“是”或“否”，自变量就可以包括很多了，如年龄、性别、饮食习惯、幽门螺杆菌感染等。自变量既可以是连续的，也可以是分类的。然后通过logistic回归分析，可以得到自变量的权重，从而可以大致了解到底哪些因素是胃癌的危险因素。同时根据该权值可以根据危险因素预测一个人患癌症的可能性。
Regression 常规步骤

1. 寻找h函数（即预测函数）
2. 构造J函数（损失函数）
3. 想办法使得J函数最小并求得回归参数（θ）

公式：

1. Logistic函数（或称为Sigmoid函数），函数形式为：(g(z)=frac{1}{1+e^x})
2. 线性边界函数：z=( heta^Tx= heta_0x_0+ heta_1x_1+cdots+ heta_nx_n=sum_{i=0}^{n}{ heta_ix_i})
3. 构造预测函数：(h_ heta(x)=g( heta^Tx)=frac{1}{1+e^{ heta^Tx}})
   注：函数h(x)的值有特殊的含义，它表示结果取1的概率，因此对于输入x分类结果为类别1和类别0的概率分别为：
   P(y=1│x;θ)=h_θ (x)
   P(y=0│x;θ)=1-h_θ (x)
4. 构造损失函数：(J( heta)=-frac{1}{m}left[egin{matrix}sum_{i=1}^{m}{(y_ilogh_{ heta}(x_i)+(1-y_i)log(1-h_{ heta}(x_i)))}end{matrix} ight])

如果 y = 0, 则最小似然函数为：(-log(1-h_{ heta}(x)))
如果 y = 1, 则最大似然函数为：(-logh_{ heta}(x))

1. 求解逻辑归回的方法有很多种，比如常用的“梯度下降法”和“牛顿法”
   5.1 梯度下降法，是通过对(J( heta))进行一阶求导来寻找下降方法，并且用迭代的方法来更新参数，更新公式：
   ( heta_j:= heta_j-alphafrac{delta}{delta_{ heta_j}}J( heta)= heta_j-frac{1}{m}sum_{i=1}^{m}({h_{ heta}(x_i)-y_i)x^j_i})
   5.2 牛顿法，是在现有极小点估计值的附近对 f(x) 做二阶泰勒展开，进而找到极小点的下一个估计值。

PS：本篇只讲梯度下降法，牛顿法后面再加，另外具体函数推导方式会在后面以图片的形式加上来
参考文档：
机器学习算法--逻辑回归原理介绍：https://blog.csdn.net/chibangyuxun/article/details/53148005
【机器学习】逻辑回归（非常详细）：https://zhuanlan.zhihu.com/p/74874291