线性代数导论 | Linear Algebra 课程

Posted 2021-10-24 leezx

搞统计的线性代数和概率论必须精通，最好要能锻炼出直觉，再学机器学习才会事半功倍。

线性代数只推荐Prof. Gilbert Strang的MIT课程，有视频，有教材，有习题，有考试，一套学下来基本就入门了。

不多，一共10次课。

链接：https://ocw.mit.edu/courses/mathematics/18-06-linear-algebra-spring-2010/calendar/

SES #	TOPICS	KEY DATES
1	The geometry of linear equations
2	Elimination with matrices
3	Matrix operations and inverses
4	LU and LDU factorization
5	Transposes and permutations	Problem set 1 due
6	Vector spaces and subspaces
7	The nullspace: Solving Ax = 0
8	Rectangular PA = LU and Ax = b	Problem set 2 due
9	Row reduced echelon form
10	Basis and dimension
11	The four fundamental subspaces	Problem set 3 due
12	Exam 1: Chapters 1 to 3.4
13	Graphs and networks
14	Orthogonality	Problem set 4 due
15	Projections and subspaces
16	Least squares approximations
17	Gram-Schmidt and A = QR	Problem set 5 due
18	Properties of determinants
19	Formulas for determinants
20	Applications of determinants	Problem set 6 due
21	Eigenvalues and eigenvectors
22	Diagonalization
23	Markov matrices	Problem set 7 due
24	Review for exam 2
25	Exam 2: Chapters 1-5, 6.1-6.2, 8.2
26	Differential equations
27	Symmetric matrices
28	Positive definite matrices
29	Matrices in engineering	Problem set 8 due
30	Similar matrices
31	Singular value decomposition	Problem set 9 due
32	Fourier series, FFT, complex matrices
33	Linear transformations
34	Choice of basis	Problem set 10 due
35	Linear programming
36	Course review
37	Exam 3: Chapters 1-8 (8.1, 2, 3, 5)
38	Numerical linear algebra
39	Computational science
40	Final exam

 

待我学完后，会来总结线性代数在统计学中的地位，在项目实践中的用途。

打卡

2019年03月11日

看完前5个Lec的视频，复习教材的相应章节，做完习题Problem set 1。

核心总结：

1. 线性代数的核心就是解方程式组，限制空间求解；

2. 解法很多，可以用几何法，高中的傻瓜式求解，线性代数则将方程式组转化成了矩阵的形式，发明了自己独特的一套求解办法，降低了求解的时间复杂度；

3. 向量一般指列向量，PCA里也是，Linear Combinations线性组合，可以看做是向量或矩阵加减的泛化，线性组合的前提就是维度相同。列向量和我们处理的基因表达矩阵完全类似，列向量就是一个样本/细胞，每一行就是一个维度，所以二维的向量我们是可以在平面内可视化的. 

4. 线性组合的优点，两个二维（线性无关）的可以组合得到平面内的每一个向量，三个三维的可以组合得到空间内的每一个向量。同时直观上如果另一个向量不在线性组合的空间里，那它肯定不是线性组合的解，无法通过线性组合得到另一个向量。

5. 不要把线性组合、方程组矩阵化和矩阵乘法搞混，线性组合的对象是同纬度的许多个向量或矩阵；方程组矩阵化，任何线性方程组都可以写成矩阵形式，左边是系数矩阵和变量向量，右边是截距；矩阵乘法对左右两个矩阵的维度有要求，后面会解释为什么。

6. 超纲一下：矩阵的乘法的本质就是线性变换，可以想象成把一堆数据线性投射到另一个空间。这也解释了为什么左边矩阵的列数必须等于右边矩阵的行数，按照PCA来理解，右边的就是特征向量的矩阵，每一列都是一个新的维度，每一行都是线性的权重。对左边矩阵而言，每一列是一个原维度，每一行就是一个样本点。这样可以明白矩阵乘法对右边矩阵维度的要求了吗？但是数学的证明还是没有。

head(mtcars)
res <- prcomp(mtcars, scale. = F, center = F, retx = T)
res$rotation[1:5,1:5]
recover <- as.matrix(mtcars) %*% as.matrix(res$rotation)
recover[1:5,1:5]

7. 表示形式，有一套严谨的语言系统有助于我们的思考，所以记住矩阵的表示是[ ], 向量的表示是( )。向量这么表示是为了节省空间，我们书写是从左到右的，(a, b, c)是一个躺下来的列向量。　　

 

 

---

 

下一步计划：图论，Graph Theory

待续~