机器学习实战之Logistic回归

Posted 2021-01-31 tianqizhi

Logistic回归
一、概述
　　1. Logistic Regression
　　　　1.1 线性回归
　　　　1.2 Sigmoid函数
　　　　1.3 逻辑回归
　　　　1.4 LR 与线性回归的区别
　　2. LR的损失函数
　　3. LR 正则化
　　　　3.1 L1 正则化
　　　　3.2 L2 正则化
　　　　3.3 L1正则化和L2正则化的区别
　　4. RL 损失函数求解
　　　　4.1 基于对数似然损失函数
　　　　4.2 基于极大似然估计

二、 梯度下降法
　　1. 梯度
　　2. 梯度下降的直观解释
　　3. 梯度下降的详细算法
　　　　3.1 梯度下降法的代数方式描述
　　　　3.2 梯度下降法的矩阵方式描述
　　4. 梯度下降的种类
　　　　4.1 批量梯度下降法BGD
　　　　4.2 随机梯度下降法SGD
　　　　4.3 小批量梯度下降法MBGD
　　5. 梯度下降的算法调优

三、使用梯度下降求解逻辑回归
　　1. 使用BGD求解逻辑回归
　　　　1.1 导入数据集
　　　　1.2 定义辅助函数
　　　　1.3 BGD算法python实现
　　　　1.4 准确率计算函数
　　2. 使用SGD求解逻辑回归
　　　　2.1 SGD算法python实现

四、从疝气病症预测病马的死亡率
　　1. 准备数据
　　2. logistic回归分类函数

 

 

一、概述

　　分类技术是机器学习和数据挖掘应用中的重要组成部分。在数据科学中，大约70%的问题属于分类问题。解决分类问题的算法也有很多种，比如：k-近邻算法，使用距离计算来实现分类；决策树，通过构建直观易懂的树来实现分类；朴素贝叶斯，使用概率论构建分类器。这里我们要讲的是Logistic回归，它是一种很常见的用来解决二元分类问题的回归方法，它主要是通过寻找最优参数来正确地分类原始数据。

 

1. Logistic Regression
　　逻辑回归(Logistic Regression,简称LR)，其实是一个很有误导性的概念，虽然它的名字中带有“回归”两个字，但是它最擅长处理的却是分类问题。LR分类器适用于各项广义上的分类任务，例如：评论信息的正负情感分析（二分类）、用户点击率（二分类）、用户违约信息预测（二分类）、垃圾邮件检测（二分类）、疾病预测（二分类）、用户等级分类（多分类）等场景。我们这里主要讨论的是二分类问题。