机器学习-逻辑回归

Posted 太阳是白的

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了机器学习-逻辑回归相关的知识,希望对你有一定的参考价值。

前言

逻辑回归虽然叫回归,实际上是一个二分类模型,要知道回归模型是连续的,而分类模型是离散的,逻辑回归简单点理解就是在线性回归的基础上增加了一个 sigmoid 函数

逻辑回归 = 线性回归 + sigmoid 函数

回顾线性回归
  • 表达式: y = w x + b y = wx + b y=wx+b
sigmoid 函数
  • 什么是sigmoid 函数

  • sigmoid 是以0.5为分界线的激活函数,主要用于将结果输入sigmoid 函数中sigmoid函数会输出一个[0,1] 区间的概率值,0.5以上为一类,0.5以下为一类,这样完成二分类任务

  • 公式:$sig(x) = \\frac11+e^-x $

逻辑回归的公式
  • z = w x + b z = wx+b z=wx+b

  • $y =\\frac11+e^-z $

  • 所以可以写成 y = 1 1 + e − w x + b y =\\frac11+e^-wx+b y=1+ewx+b1

逻辑回归的损失
  • J = − [ y l n a + ( 1 − y ) l n ( 1 − a ) ] J = -[ylna+(1-y)ln(1-a)] J=[ylna+(1y)ln(1a)]
  • 逻辑回归损失函数体现在“预测值” 与 “实际值” 相似程度上
  • 损失值越小,模型会越好,但是过于小也要考虑过拟合的原因
梯度下降与参数更新

梯度下降: Δ θ j = 1 m X T ( h − y ) \\Delta\\theta_j=\\frac1mX^T(h-y) Δθj=m1XT(hy)

deltatheta = (1.0 / m) * X.T.dot(h - y)

更新参数: θ j = θ j − α Δ θ j \\theta_j = \\theta_j - \\alpha\\Delta\\theta_j θj=θjαΔθj

theta = theta - alpha * deltatheta
代码
import numpy as np
import matplotlib.pyplot as plt

data = np.loadtxt('ex2data1.txt',delimiter=',')

x =  data[:,:-1]
y = data[:,-1]

x -= np.mean(x,axis=0)
x /= np.std(x,axis=0)

X =  np.c_[np.ones(len(x)),x]

def mov(theta):
    z =  np.dot(X,theta)
    h = 1/(1+np.exp(-z))
    return h

def cos(h):
    j = -np.mean(y*np.log(h)+(1-y)*np.log(1-h))
    return j

def tidu(sus=10000,aphe=0.1):
    m,n = X.shape
    theta = np.zeros(n)
    j = np.zeros(sus)
    for i in range(sus):
        h = mov(theta)
        j[i] = cos(h)
        te = (1/m)*X.T.dot(h-y)
        theta -= te * aphe
    return h,j,theta

if __name__ == '__main__':
    h,j,theta = tidu()
    print(j)
    plt.plot(j)
    plt.show()

以上是关于机器学习-逻辑回归的主要内容,如果未能解决你的问题,请参考以下文章

逻辑回归原理梳理_以python为工具 Python机器学习系列

机器学习python实战----逻辑回归

Python实现机器学习算法:逻辑回归

《机器学习实战》之逻辑回归--基于Python3--01

快速上手逻辑回归模型?读这篇就够了(Python机器学习)

机器学习逻辑回归python实现