PyTorch深度学习-03梯度下降(快速入门)

Posted 璞玉牧之.

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了PyTorch深度学习-03梯度下降(快速入门)相关的知识,希望对你有一定的参考价值。

目录


1.Gradient Descent (梯度下降)

1.1 Optimization Problem (优化问题)

找使目标函数最小的权重(求函数最小值)

1.2 Gradient Descent algorithm (梯度下降算法)

确定初始权重需要往左移还是往右移才能得到目标权重

1.2.1 Gradient (梯度)

用目标函数对权重求导,就可以得到它的上升方向。负导数为下降方向。

1.2.2 Update (更新权重)

权重减学习率乘导数

  • 学习率 (步长):表示往前移动多远 (通常学习率取值较小)

  • 贪心算法:每次迭代都朝着下降最快的方向走一步,梯度下降不一定能得到最优结果,但能得到在局部区域的最优结果。

  • 鞍点:在鞍点处梯度等于0,即g=0,所以在鞍点处,据 w=w-ag,可知a*g=0,则无论步长值是多少,w值都无法再次改变。

1.3 代码实现

import matplotlib.pyplot as plt

x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]  #输入训练集数据

loss_list = []
Epoch_list = []

w = 1.0                   #猜测一个初始权重

def forward(x):           #定义前馈计算
    return x * w          #y_hat=x*w

def cost(xs, ys):         #计算MSE的目标函数
    cost = 0
    for x, y in zip(xs, ys):   #zip拼装
        y_pred = forward(x)    #计算y_hat=x*w
        cost += (y_pred - y) ** 2       #计算(y_hat-y)的平方,再累加
    return cost / len(xs)      #除样本数量=均值

def gradient(xs, ys):      #求梯度函数
    grad = 0
    for x, y in zip(xs, ys):
        grad += 2 * x * (x * w - y)
    return grad / len(xs)

print('Predict (before training)', 4, forward(4))
for epoch in range(100):                  #进行100轮训练
    cost_val = cost(x_data, y_data)
    grad_val = gradient(x_data, y_data)   #求梯度
    w -= 0.01 * grad_val                  #更新
    print('Epoch:', epoch, 'w=', w, 'loss=', cost_val)  #输出训练日志,Epoch:训练轮数
    loss_list.append(cost_val)
    Epoch_list.append(epoch)
print('Predict (after training)', 4, forward(4))


#Draw the grap
plt.plot(Epoch_list, loss_list)
plt.ylabel('Loss')
plt.xlabel('Epoch')
plt.show()

1.4 结果截图


2.Stochastic Gradient Descent (随机梯度下降)

由于损失函数可能是带有鞍点的,到达鞍点后就无法继续向前走了。我们拿到的数据总是有噪声的,在陷入鞍点时,随机噪声可能会把我们向前推动。

引入随机性后,在更新时,有可能跨过鞍点向最优值前进。

梯度下降是用所有样本的平均损失作为梯度下降的更新依据,随机梯度下降是一共提供N个数据,从里面随机选一个,公式就变成了拿单个样本的损失函数对权重求导。

2.1 代码实现

import matplotlib.pyplot as plt

x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]  #输入训练集数据

w = 1.0

def forward(x):           #定义前馈计算
    return x * w

def loss(x, y):
    y_pred = forward(x)  # 计算y_hat=x*w
    return (y_pred - y) ** 2  #计算y_hat-y的平方

def gradient(x, y):      #求梯度函数
    return 2 * x * (x * w - y)

epoch_list = []
loss_list = []

print('Predict (before training)', 4, forward(4))
for epoch in range(100):
    for x, y in zip(x_data, y_data):
        grad = gradient(x, y) #对每个样本求梯度
        w = w - 0.01 * grad   #拿一个样本然后就进行更新权重
        print("\\tgrad: ", x, y, grad)
        l = loss(x, y)

    print("progress:", epoch, "w=", w, "loss=", 1)

    epoch_list.append(epoch)
    loss_list.append(l)

print('Predict (after training)', 4, forward(4))

#Draw the grap
plt.plot(epoch_list, loss_list)
plt.ylabel('loss')
plt.xlabel('epoch')
plt.show()

2.2 结果截图


3.Batch (批量的随机梯度下降)

  • 梯度下降的计算是并行的,随机梯度下降的两个样本之间是有依赖的,不能并行。所以,梯度下降法效率最高,随机梯度下降的性能较好,但时间复杂度高。
  • 因此在深度学习中,会利用一种折中方式——Batch,批量的随机梯度下降(若干个样本一组,每次用一组样本求相应梯度,然后进行更新)
  • 在深度学习中默认采用的随机梯度下降sdd算法用的就是batch方法。

本文参考:《PyTorch深度学习实践》

以上是关于PyTorch深度学习-03梯度下降(快速入门)的主要内容,如果未能解决你的问题,请参考以下文章

PyTorch学习2B站刘二大人《PyTorch深度学习实践》——梯度下降算法(Gradient Descent)

4.5 PyTorch批量梯度下降

深度学习入门之SGD随机梯度下降法

深度学习基础:3.反向传播和梯度下降

pytorch入门 01

有没有pytorch的高级应用教程推荐一下