统计机器学习-2-矩阵范数与导数
Posted esc_ai
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了统计机器学习-2-矩阵范数与导数相关的知识，希望对你有一定的参考价值。
1、矩阵和行列式
矩阵的知识是从行列式而来，矩阵和行列式的区别在于矩阵是一张表，行列式是一个数。
如下，
A是一个矩阵:
(1) A = [ 1 2 3 4 5 6 7 8 9 ] A = \\left[ \\beginmatrix 1 & 2 & 3 \\\\ 4 & 5 & 6 \\\\ 7 & 8 & 9 \\endmatrix \\right] \\tag1 A=⎣⎡147258369⎦⎤(1)
B是一个行列式：
(2) B = ∣ 1 2 3 4 5 6 7 8 9 ∣ = 0 B = \\left| \\beginmatrix 1 & 2 & 3 \\\\ 4 & 5 & 6 \\\\ 7 & 8 & 9 \\endmatrix \\right| \\tag2=0 B=∣∣∣∣∣∣147258369∣∣∣∣∣∣=0(2)
2、矩阵和向量
向量是一个特殊的矩阵，其行或列数目为1。
矩阵A的一个3*1的列向量
x
⃗
\\vec x
x为：
(3) x ⃗ = [ 1 4 7 ] \\vec x = \\left[ \\beginmatrix 1 \\\\ 4 \\\\ 7 \\endmatrix \\right] \\tag3 x=⎣⎡147⎦⎤(3)
A的一个1*3的行向量 y ⃗ \\vec y y为：
(4) x ⃗ = ∣ 1 2 3 ∣ \\vec x = \\left| \\beginmatrix 1 & 2 & 3 \\\\ \\endmatrix \\right|\\tag4 x=∣∣123∣∣(4)
3.向量范数
向量范数: 给向量赋予一个正标量值，或者简单理解为向量的模。
(5)
z
⃗
=
[
1
4
7
]
\\vec z = \\left[ \\beginmatrix 1 \\\\ 4 \\\\ 7 \\endmatrix \\right] \\tag5
z=⎣⎡147⎦⎤(5)
向量 z ⃗ \\vec z z的模记通常记作 ∣ ∣ z ⃗ ∣ ∣ ||\\vec z|| ∣∣z∣∣(或 ∣ ∣ z ⃗ ∣ ∣ 2 ||\\vec z||_2 ∣∣z∣∣2) :
(5) ∣ ∣ z ⃗ ∣ ∣ = [ 1 4 7 ] = 1 2 + 4 2 + 7 2 ||\\vec z||= \\left[ \\beginmatrix 1 \\\\ 4 \\\\ 7 \\endmatrix \\right] \\tag5 = \\sqrt1^2+4^2+7^2 ∣∣z∣∣=⎣⎡147⎦⎤=12+42+72(5)
范数有不同的计算方法，上面介绍的是比较常用的求模方法，向量还有其他范数：
向量的1范数(L1范数): 各元素的绝对值之和:：
∣ ∣ X ⃗ ∣ ∣ 1 = ∑ i = 1 n X i ||\\vec X||_1=\\sum_i=1^nX_i ∣∣X∣∣1=i=1∑nXi
向量的2范数,各元素平方和再开根号:
∣ ∣ X ⃗ ∣ ∣ 2 = ∑ i = 1 n X i 2 ||\\vec X||_2=\\sqrt\\sum_i=1^nX_i^2 ∣∣X∣∣2=i=1∑nXi2
向量的p范数,各元素绝对值的p次方再开q次方:
∣ ∣ X ⃗ ∣ ∣ P = ( ∑ i = 1 n ∣ X i ∣ p ) 1 / p ||\\vec X||_P =( \\sum_i=1^n|X_i|^p)^1/p ∣∣X∣∣P=(i=1∑n∣Xi∣深度学习中的数学基础总结