机器学习之回归模型-梯度下降法求解线性回归

Posted nuist__NJUPT

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了机器学习之回归模型-梯度下降法求解线性回归相关的知识,希望对你有一定的参考价值。

机器学习之回归模型-梯度下降法求解线性回归

线性回归是一种线性模型,它假设输入变量x与单个输出变量y之间存在线性关系。具体的说,就是利用线性回归模型,从一组输入变量的线性组合中,计算出输出变量y。

如果有两个或者两个以上的自变量,这样的线性回归分析,就是多元线性回归。其实,在实际生活中,一个现象往往受多个因素的影响,所以多元线性回归比一元线性回归的应用更广。

假如说:我想买西瓜,此时,我应该挑选自己满意的西瓜,那么怎么挑选呢,我们应该从从色泽,根蒂,敲打的声音等多个维度考察西瓜的质量,假如每个影响西瓜的因素和瓜的质量是线性关系,就可以写成入下线性的关系:


使用梯度下降法求解多元线性回归:
其中J为损失函数,对损失函数中的参数求偏导得到梯度,带到梯度下降公式中,使得梯度不断下降,即沿着负梯度方向,使得损失函数越来越小,即误差最小,模型越来越好。

负梯度方向:函数变化减少最快的方向,即变量沿此方向变化时,函数减少最快。

损失函数是系数的函数,如果系数沿着损失函数的负梯度变化,此时损失函数减少最快,能够以最快速度下降到最小值。

其中,梯度下降公式入下:
其中α叫做步长,也叫做学习率,这意味着我们可以通过控制及步长来控制每一步走的距离,保证不要走太快,防止错过了最低点,同时也要保证尽快收敛,故α在梯度下降中还是比较重要的,既不能太大,也不能太小。

如果觉得多元线性回归的梯度下降不好理解,我们可以退回到一元线性回归的梯度下降进行观察,如下所示,其实就是不停的更新参数值,使得损失函数越来越小

线性回归求解可以使用最小二乘法和梯度下降法,下面我们针对两种方法进行对比:
1-相同点:本质和目标相同,两种都是经典的学习算法,在给定已知数据的情况下,利用求导算出一个模型(函数),使得损失函数最小,然后对给定的新数据进行估算预测。

2-不同点:损失函数的选择:最小二乘法必须使用平方损失函数,而梯度下降可以选取其它函数;实现方法不同,最小二乘法是实现全局最小,而梯度下降是一种迭代法;一般最小二乘法一定可以得到全局最小,但对于多元计算繁琐,且复杂情况下未必有解,而梯度下降的迭代比较简单,但找到的一般是局部最小,即极小值,仅在目标函数是下凸函数是才是全局最小,到最小点的收敛速度会变慢,且对初始点的选择极为敏感,而且步长的选择对损失函数也有影响。

使用梯度下降求解线性回归代码如下所示,
demo同步已经能上传至github,包含源代码和数据集,链接如下:https://github.com/wgdwg/-1

#梯度下降求解线性回归
import numpy as np #导入计算包
import matplotlib.pyplot as plt #导入绘图包
#1.加载数据源,并画出散点图
points = np.genfromtxt('data.csv', delimiter=',')

#提取points的两列数据,分别作为x,y
x = points[:,0] #第一列数据
y = points[:,1] #第2列数据

#用plt画出散点图
plt.scatter(x,y)
plt.show()

#2.定义损失函数,损失函数是系数的函数
def cost_function(w, b, points):
    total_const = 0 #初始化损失函数
    m = len(points) #数据个数
    #逐点计算平方误差,然后求平均数
    for i in range(m):
        x = points[i,0] #第i行,第1列
        y = points[i,1] #第i行,第2列
        total_const += (y - w * x - b) ** 2
    return total_const / m

#3.定义模型的超参数
alpha = 0.0001 #学习速率
init_w = 0 #初始参数
init_b = 0 #初始参数
num_iter = 10 #迭代次数

#4.定义核心梯度下降算法函数
def grad_desc(points, init_w, init_b, num_iter):
    w = init_w
    b = init_b
    #定义一个列表cost_list保存所有损失函数值
    cost_list = []
    for i in  range(num_iter):
        cost_list.append(cost_function(w,b,points)) #存入损失函数
        w, b = step_grad_desc(w,b,alpha,points) #不挺的更新参数w,b
    return [w, b, cost_list]

def step_grad_desc(current_w, current_b, alpha, points):
    sum_grad_b = 0
    sum_grad_w = 0
    m = len(points)
    #对每个点,带入公式求和
    for i in range(m):
        x = points[i, 0]  # 第i行,第1列
        y = points[i, 1]  # 第i行,第2列
        sum_grad_w += (current_w * x + current_b - y) * x
        sum_grad_b += (current_w * x + current_b - y) ;
    #求当前的偏导
    grad_w = 2 / m * sum_grad_w
    grad_b = 2 / m * sum_grad_b
    #梯度下降,沿负梯度方向,更新当前的w和b
    update_w = current_w - alpha * grad_w
    update_b = current_b - alpha * grad_b

    return update_w, update_b

#5.测试,运行梯度下降,计算最优的w和b
w, b, cost_list = grad_desc(points, init_w, init_b, num_iter)
cost = cost_function(w,b,points) #得到损失函数

print("参数w = ", w)
print("参数b = ", b)
print("损失函数 = ", cost)
plt.plot(cost_list)
plt.show()

#6.画出拟合曲线
plt.scatter(x,y) #原始的散点图
pred_y = (w * x) + b #预测的y
plt.plot(x,pred_y,c='r') #红色的拟合直线
plt.show() #显示绘图


梯度下降,迭代数次后,损失函数趋于最小,110左右。

散点图的拟合直线如下所示:

控制台输出的损失函数相对于最小二乘法稍大,即误差稍大。

以上是关于机器学习之回归模型-梯度下降法求解线性回归的主要内容,如果未能解决你的问题,请参考以下文章

机器学习之回归算法

机器学习100天(十四):014 梯度下降算法求解线性回归

机器学习100天(十四):014 梯度下降算法求解线性回归

Python机器学习之单变量线性回归 利用批量梯度下降找到合适的参数值

机器学习—— 线性回归

机器学习之梯度下降