机器学习中的线性代数

Posted 2022-12-14 Vinicier

第二章 机器学习中的线性代数知识

线性代数作为数学中的一个重要的分支，广发应用在科学与工程中。掌握好线性代数对于理解和从事机器学习算法相关的工作是很有必要的，尤其是对于深度学习而言。因此，在开始介绍深度学习之前，先集中探讨一些必备的线性代数知识。

2.1 标量，向量，矩阵和张量

标量（scalar）：一个标量就是一个单独的数。用斜体表示标量，如 $s \\in R$.

向量（vector）：一个向量是一列数，我们用粗体的小写名称表示向量。比如 $\\bf x$，将向量$\\bf x$ 写成方括号包含的纵柱：

$$\\bf x= \\begin bmatrix x_1\\\\x_2\\\\ \\vdots \\\\x_n\\\\ \\endbmatrix$$

矩阵（matrix）

：矩阵是二维数组，我们通常赋予矩阵粗体大写变量名称，比如 $\\bf A​$ 。如果一个矩阵高度是 $m​$，宽度是 $n​$，那么说 $\\bf A\\in \\bf R ^m \\times n​$ 。一个矩阵可以表示如下：
$$\\bf A= \\beginbmatrix x_11 &x_12\\\\ x_21 & x_22\\\\ \\endbmatrix$$

张量（tensor）

：某些情况下，我们会讨论不止维坐标的数组。如果一组数组中的元素分布在若干维坐标的规则网络中，就将其称为张量。用 $\\bf A​$ 表示，如张量中坐标为 $(i,j,k)​$的元素记作 $\\bf A_i,j,k​$。

转置（transpose）：矩阵的转置是以对角线为轴的镜像，这条从左上角到右下角的对角线称为主对角线（main diagonal）。将矩阵$\\bf A$的转置表示为$\\bf A^\\top$。定义如下：

$$(\\bf A^\\top)_i,j=\\bf A_j,i$$

$$\\bf A = \\beginbmatrix x_11 &x_12\\\\ x_21 & x_22\\\\ x_31 & x_32 \\endbmatrix \\implies \\bf A^\\top= \\beginbmatrix x_11 &x_21&x_31 \\\\ x_21 & x_22& x_32 \\endbmatrix$$

2.2 矩阵和向量相乘

矩阵乘法是矩阵运算中最重要的操作之一。两个矩阵$\\bf A$和$\\bf B$ 的矩阵乘积(matrix product)是第三个矩阵$\\bf C$ 。矩阵乘法中$\\bf A$ 的列必须和 $\\bf B$ 的行数相同。即如果矩阵 $\\bf A$ 的形状是 $m \\times n$ ，矩阵 $\\bf B$ 的形状是 $n \\times p$ ，那么矩阵 $\\bf C$ 的形状就是 $m \\times p$ 。即

$$\\bf C = \\bf A \\times \\bf B$$
具体的地，其中的乘法操作定义为
机器学习的数学基础

动手学深度学习v2学习笔记02：线性代数矩阵计算自动求导

线性代数和概率论——机器学习基础

线性代数之五：正交性

吴恩达《机器学习》课程总结_线性代数回顾

线性代数中的各种量理解：标量向量矩阵张量