机器学习-9.逻辑回归
Posted wyply115
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了机器学习-9.逻辑回归相关的知识,希望对你有一定的参考价值。
- 逻辑回归是将线性回归的结果通过sigmoid函数映射到0到1的区间内,而[0,1]对应百分比即概率,从而转化为分类问题
- 逻辑回归只能解决二分类问题。
- 公式:
h θ ( x ) = g ( θ T x ) = 1 1 + e − θ T x h_\\theta(x) =g(\\theta^Tx)=\\frac11+e^-\\theta^Tx hθ(x)=g(θTx)=1+e−θTx1
g ( z ) = 1 1 + e − z g(z)=\\frac11+e^-z g(z)=1+e−z1 - e为常数:2.71;默认0.5作为阀值;z为线性回归的结果
- g(z)为sigmoid函数。
- 逻辑回归的损失函数:
- 损失函数目前整理了两种:
- 均方误差:不存在局部最低点,只有一个最小值,通过梯度下降可以求出最低点。
- 对数似然损失:如下图所示存在多个局部最低点,通过梯度下降求出的结果有可能不是全局最低点。目前这种问题无法彻底解决,只能尽量改善优化:
1). 梯度下降求解时多次随机初始化,多次比较最小值结果取最小值。
2). 求解过程中,调整学习率。
- API:sklearn.linear_model.LogisticRegression
penalty:正则化,C:正则化力度。 - 案例:良/恶性乳腺癌肿瘤预测
- 数据:https://archive.ics.uci.edu/ml/machine-learning-databases/breast-cancer-wisconsin/breast-cancer-wisconsin.data
- 数据介绍:https://archive.ics.uci.edu/ml/machine-learning-databases/breast-cancer-wisconsin/breast-cancer-wisconsin.names
由上图可以看出:
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import classification_report
import pandas as pd
import numpy as np
def logistic():
'''
逻辑回归做二分类进行癌症肿瘤预测
:return: None
'''
# 构造列标签名字,查看数据可以发现没有列标签名字
column = ['Sample code number','Clump Thickness','Uniformity of Cell Size','Uniformity of Cell Shape','Marginal Adhesion','Single Epithelial Cell Size','Bare Nuclei','Bland Chromatin','Normal Nucleoli','Mitoses','Class']
# 读取数据
data = pd.read_csv("https://archive.ics.uci.edu/ml/machine-learning-databases/breast-cancer-wisconsin/breast-cancer-wisconsin.data",names=column)
# 确实值处理
data = data.replace(to_replace="?",value=np.nan)
data = data.dropna()
# 数据分割
x_train, x_test, y_train, y_test = train_test_split(data[column[1:10]], data[column[10]], test_size=0.25)
# 标准化处理
std = StandardScaler()
x_train = std.fit_transform(x_train)
x_test = std.transform(x_test)
# 逻辑回归预测
lg = LogisticRegression(C=1.0)
lg.fit(x_train,y_train)
y_predict = lg.predict(x_test)
print(lg.coef_)
print("准确率:", lg.score(x_test,y_test))
# 因为本次是预测肿瘤,所以精确率意义不大,重点考察召回率
print("分类预测指标报告:", classification_report(y_test, y_predict, labels=[2,4], target_names=["良性","恶性"]))
return None
if __name__ == '__main__':
logistic()
输出结果:
- 逻辑回归总结
应用:广告点击率预测,是否患病,金融诈骗,是否为虚假帐号等二分类问题。
优点:适合需要得到一个分类概率的场景,简单,速度快。
缺点:不太好处理多分类问题(需要一个一个去确定,比较复杂)。 - 逻辑回归和朴素贝叶斯分类分析:
- 逻辑回归为二分类,朴素可多分类。
- 在应用场景上逻辑回归为二分类等需要得到概率的场景,朴素为文本分类。
- 逻辑回归有正则化力度等参数,朴素没有。
- 朴素贝叶斯需要先求出历史数据每个类别的概率(先验概率),逻辑回归不需要。
- 需要求先验概率的则为生成模型。否则为判别模型。
- 共性:两者在得出的结果上都有概率解释。
- 判别模型:k-近邻、决策树、随机森林、逻辑回归、神经网络
- 生成模型:朴素贝叶斯、隐马尔可夫模型
以上是关于机器学习-9.逻辑回归的主要内容,如果未能解决你的问题,请参考以下文章