[Python]数据挖掘梯度下降求解逻辑回归——考核成绩分类

Posted 2020-10-22 进击的小猴子

ps：本博客内容根据唐宇迪的的机器学习经典算法  学习视频复制总结而来

http://www.abcplus.com.cn/course/83/tasks

逻辑回归

问题描述：我们将建立一个逻辑回归模型来预测一个学生是否被大学录取。假设你是一个大学系的管理员，你想根据两次考试的结果来决定每个申请人的录取机会。你有以前的申请人的历史数据，你可以用它作为逻辑回归的训练集。对于每一个培训例子，你有两个考试的申请人的分数和录取决定。为了做到这一点，我们将建立一个分类模型，根据考试成绩估计入学概率。

数据下载：https://pan.baidu.com/s/1pNbtrjP

数据大概长这个样

1、查看数据基本属性

2、画图观察

plot结构剖析

上图来自https://www.jianshu.com/p/b4b5dd20e48a

3、建立分类器（求解出三个参数 θ0、θ1、θ2）

设定阈值，根据阈值判断录取结果（此处设置为50%，≥50%即判断录取）

要完成的模块： 
- sigmoid : 映射到概率的函数

• model : 返回预测结果值

• cost : 根据参数计算损失

• gradient : 计算每个参数的梯度方向

• descent : 进行参数更新

• accuracy: 计算精度

 

  

4、损失函数 

5、计算梯度

6、梯度下降（比较三种梯度下降方法）

 

下面这段代码仅仅是将过程可视化

7、不同的停止策略

①设定迭代次数

②根据损失值停止

上面的迭代次数过少，修改阈值为1E-6，迭代次数大概需要110000次 。会发现值再次降低

这种策略虽然准确度较高，但是迭代次数多，计算量大

③、根据梯度变化停止

设定阈值 0.05,差不多需要40 000次迭代

 

8、对比不同的梯度下降方法

 ①Stochastic descent  随机梯度下降

 

相当不稳定,再来试试把学习率调小一些

速度快，效果和稳定性都差，需要很小的学习率

②Mini-batch descent 小批量梯度下降

 

标准化/归一化

浮动仍然比较大，我们来尝试下对数据进行标准化 将数据按其属性(按列进行)减去其均值，然后除以其方差。最后得到的结果是，对每个属性/每列来说所有数据都聚集在0附近，方差值为1。

 

它好多了！原始数据，只能达到达到0.61，而我们得到了0.38个在这里！ 所以对数据做预处理是非常重要的。

 

更多的迭代次数会使得损失下降的更多！

随机梯度下降更快，但是我们需要迭代的次数也需要更多，所以还是用batch的比较合适！

9、精度