深度学习入门Softmax回归模型
Posted JeckXu666
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了深度学习入门Softmax回归模型相关的知识，希望对你有一定的参考价值。
前言
因为工作需求需要接触到深度学习知识，导师推荐了一本书用来入门：《动手学深度学习（PyTorch版）》
在此处记录一下学习内容以及学习总结，文章以原作者书籍为基础，插入一些自己的总结与心得做参考（高亮部分），喜欢阅读原文的可以访问原文链接：动手学深度学习(PyTorch版)
上一节了解完单层单输出神经网络后，这一节主要学习单层多输出的神经网络模型：Softmax回归模型
上一节文章链接：深度学习入门（一）线性回归模型
Softmax回归
前几节介绍的线性回归模型适用于输出为连续值的情景。在另一类情景中，模型输出可以是一个像图像类别这样的离散值。对于这样的离散值预测问题，我们可以使用诸如softmax回归在内的分类模型。和线性回归不同，softmax回归的输出单元从一个变成了多个，且引入了softmax运算使输出更适合离散值的预测和训练。本节以softmax回归模型为例，介绍神经网络中的分类模型。
与线性回归的连续单输出不同，softmax回归问题就是离散多输出
1.分类问题
让我们考虑一个简单的图像分类问题，其输入图像的高和宽均为2像素，且色彩为灰度。这样每个像素值都可以用一个标量表示。我们将图像中的4像素分别记为 x 1 , x 2 , x 3 , x 4 x_1, x_2, x_3, x_4 x1,x2,x3,x4。假设训练数据集中图像的真实标签为狗、猫或鸡（假设可以用4像素表示出这3种动物），这些标签分别对应离散值 y 1 , y 2 , y 3 y_1, y_2, y_3 y1,y2,y3。
我们通常使用离散的数值来表示类别，例如 y 1 = 1 , y 2 = 2 , y 3 = 3 y_1=1, y_2=2, y_3=3 y1=1,y2=2,y3=3。如此，一张图像的标签为1、2和3这3个数值中的一个。虽然我们仍然可以使用回归模型来进行建模，并将预测值就近定点化到1、2和3这3个离散值之一，但这种连续值到离散值的转化通常会影响到分类质量。因此我们一般使用更加适合离散值输出的模型来解决分类问题。
分类问题的输出一般还是一个连续值，需要通过转化后定点化，变为离散输出
2.softmax回归模型
softmax回归跟线性回归一样将输入特征与权重做线性叠加。与线性回归的一个主要不同在于，softmax回归的输出值个数等于标签里的类别数。因为一共有4种特征和3种输出动物类别，所以权重包含12个标量（带下标的 w w w）、偏差包含3个标量（带下标的 b b b），且对每个输入计算 o 1 , o 2 , o 3 o_1, o_2, o_3 o1,o2,o3这3个输出：
o 1 = x 1 w 11 + x 2 w 21 + x 3 w 31 + x 4 w 41 + b 1 , o 2 = x 1 w 12 + x 2 w 22 + x 3 w 32 + x 4 w 42 + b 2 , o 3 = x 1 w 13 + x 2 w 23 + x 3 w 33 + x 4 w 43 + b 3 . \\begin{aligned} o_1 &= x_1 w_{11} + x_2 w_{21} + x_3 w_{31} + x_4 w_{41} + b_1,\\\\ o_2 &= x_1 w_{12} + x_2 w_{22} + x_3 w_{32} + x_4 w_{42} + b_2,\\\\ o_3 &= x_1 w_{13} + x_2 w_{23} + x_3 w_{33} + x_4 w_{43} + b_3. \\end{aligned} o1o2o3=x1w11+x2w21+x3w31+x4w41+b1,=x1w12+x2w22+x3w32+x4w42+b2,=x1w13+x2w23+x3w33+x4w43+b3.
每一个输出值都有各自的权重参数与输入相关联
图3.2用神经网络图描绘了上面的计算。softmax回归同线性回归一样，也是一个单层神经网络。由于每个输出 o 1 , o 2 , o 3 o_1, o_2, o_3 o1,o2,o3的计算都要依赖于所有的输入 x 1 , x 2 , x 3 , x 4 x_1, x_2, x_3, x_4 x1,x2,x3,x4，softmax回归的输出层也是一个全连接层。
每个输出各自与输入全相关，所以为全连接层
既然分类问题需要得到离散的预测输出，一个简单的办法是将输出值
o
i
o_i
oi当作预测类别是
i
i
i的置信度，并将值最大的输出所对应的类作为预测输出，即输出
arg
max
i
o
i
\\underset{i}{\\arg\\max} o_i
iargmaxoi。例如，如果
o
1
,
o
2
,
o
3
o_1,o_2,o_3
o1,o2,o3分别为
0.1
,
10
,
0.1
0.1,10,0.1
0.1,10,0.1，由于
o
2
o_2
o2最大，那么
预测类别为2，其代表猫。
然而，直接使用输出层的输出有两个问题。一方面，由于输出层的输出值的范围不确定，我们难以直观上判断这些值的意义。例如，刚才举的例子中的输出值10表示“很置信”图像类别为猫，因为该输出值是其他两类的输出值的100倍。但如果 o 1 = o 3 = 1 0 3 o_1=o_3=10^3 o1=o3=103，那么输出值10却又表示图像类别为猫的概率很低。另一方面，由于真实标签是离散值，这些离散值与不确定范围的输出值之间的误差难以衡量。
softmax运算符（softmax operator）解决了以上两个问题。它通过下式将输出值变换成值为正且和为1的概率分布：
y
^
1
,
y
^
2
,
y
^
3
=
softmax
(
o
1
,
o
2
,
o
3
)
\\hat{y}_1, \\hat{y}_2, \\hat{y}_3 = \\text{softmax}(o_1, o_2, o_3)
y^1,y^2《动手学深度学习》softmax回归(PyTorch版)