机器学习推荐书单

Posted 2021-01-11 simplex

机器学习很多时候是在跟数学打交道，所以看书看论文肯定是必不可少的。下面是自己读过并觉得很有帮助的一些书，希望对大伙有所帮助。（请忽略糟糕的排版，这个排版功能太难用了。。）

拓扑学：

Munkres J R. 《Topology》
拓扑学就只看了这一本，只能说不愧是大师之作。
分析学：

Rudin三件套
这个应该就众所周知了。另外，很早的时候读过柯朗的一个系列微积分教材，用于入门也挺好。再另外，柯朗的数学物理方法也是不可多得的佳作，很多处理问题的视角都只在这本书里见过，不过可惜只读了第一卷的前面几章。

线性代数：
Michael Artin. 《Algebra》
这本书虽然不是线性代数的专著，但是强烈强烈强烈强烈推荐作为线性代数的教材，读来令人茶饭不思，一病不起。

Peter D.Lax 《Linear Algebra and Its Applications》
另一本线性代数的优秀教材，内容更加广泛一些。

概率统计：
Dimitri P.Bertsekas, John N.Tsitsiklis《Introduction to probability》
比较浅显易懂的概率论教材
Christian P. Robert， George Casella《Monte Carlo Statistical Methods》
讲述蒙特卡洛方法的专著，蒙特卡洛方法在机器学习里的应用应该不用多说了吧。看过几本类似的教材，感觉都差不多，也说不好哪个更适合。

优化方法：
Stephen Boyd 《Convex Optimization》
凸优化领域的超级经典，对凸优化的方方面面都做了细致入微的讲述，有中文版。

微分几何：
Marian Fecko 《Differential Geometry and Lie Groups for Physicists》
读书的时候导师推荐的教材，主要讲述现代微分几何。这个书超级厚，我只读了前面七八章，受益颇多，对线性代数和微积分的认识也有所加深。

数值计算：
William H. Press等 《Numerical Recipes》
几位数值计算大牛合著的百科全书式的教材，不但对数值计算领域的方方面面做了详细介绍，而且还附带高质量的源代码，很多程序可以直接拿来用。当然书也是非常厚（1000+），不过通读了一遍之后应该基本可以搞定大多数工作中遇到的数值计算问题了。

Gene H. Golub 《Matrix Computation》
这个应该无需过多介绍了，矩阵计算领域的圣经。想深入了解怎么解线性代数方程、求本征值、各种矩阵分解算法的同学不可错过。另外，还有一本稍薄一点的教材，是LAPACK的作者写的，也非常不错。

Jorge Nocedal, Stephen J. Wright 《Numerical Optimization》
这本书是介绍用数值方法求解优化问题的专著，可以结合Boyd的凸优化一起看，一个偏理论一个偏实践

机器学习系列：

Kevin P. Murphy 《Machine Learning: A Probabilistic Perspective》
简称MLAPP，也是我学习机器学习的第一本书，是一本大而全的著作。可以帮助初学者很快的建立一个完善的机器学习内容的框架，避免陷入到像逻辑回归、支持向量机等具体算法中，只见树木不见森林。不过由于篇幅所限，很多章节的讨论较为简略，如概率图模型、高斯过程、狄利克雷过程、深度学习等，建议结合相关专著一起学习。

Robert E. Schapire，Yoav Freund《Boosting Foundations and Algorithms》
从书名就可以看出，这是一本专门讲boosting算法的书。从很多角度解释了为啥boosting算法这么牛逼。

Mehryar Mohri, Afshin Rostamizadeh, and Ameet Talwalkar《Foundations of Machine Learning》
PAC学习理论的专著，不过工作中较少用到，也只是大概的了解了一下

Ian Goodfellow，Yoshua Bengio，Aaron Courville 《Deep Learning》
这个也无需多言了吧。。。

Andreas Griewank，Andrea Walther《Evaluating Derivatives：Principles and Techniques of Algorithmic Differentiation》
这本书是介绍自动微分技术的，好像很少看到有人推荐，不过内容质量都相当好。读了它之后应该可以真正的知道什么是BP算法，以及为什么深度学习框架要采用BP算法。建议动手实现下里面的前向和后向自动微分算法，以便加深理解和记忆。
另外，还有一本更著名的书《The Art of Differentiating Computer Programs- An Introduction toAlgorithmic Differentiation》，不过我没怎么看过，所以也不做过多评价。


李航 《统计学习方法》
很多大牛都推荐过这本书，足以证明其质量。内容以介绍各个常见机器学习算法为主，数学推导丰富翔实，可以结合MLAPP一起看。

Daphne Koller，Nir Friedman《Probabilistic Graphical Models-Principles and Techniques》
概率图理论的百科全书，有人说书的内容很多很散，不推荐阅读。不过个人觉得是一本难得的好书，把概率图理论的来龙去脉交代的清清楚楚明明白白。读了它之后再去学习HMM、CRF、Kalman Filter这些具体算法就有种知其然且知其所以然的感觉。MLAPP中概率图相关的章节大量饮用此书。回头有时间把读书笔记整理整理发出来。

Carl Edward Rasmussen, Christopher K. I. Williams《Gaussian Processes for Machine Learning》
介绍高斯过程的专著，MLAPP的高斯过程章节大量引用此书

Richard S. Sutton，Andrew G. Barto《Reinforcement Learning-An introduction》
强化学习的入门书籍，没看完，因为工作中暂时没应用到强化学习...