机器学习学习路线

Posted 2020-09-23 weihuchao

1 机器学习

　　机器学习研究的是计算机怎样模拟人类的学习行为，以获取新的知识或技能，并重新组织已有的知识结构使之不断改善自身。

　　简单一点说，就是计算机从数据中学习出规律和模式，以应用在新数据上做预测的任务。

1.1 机器学习的分类

　　从功能的角度分类，机器学习在一定量级的数据上，可以解决下列问题：

　　1) 分类问题

根据数据样本上抽取出的特征，判定其属于有限个类别中的哪一个。

比如：
　　垃圾邮件识别(结果类别：1垃圾邮件 2正常邮件

　　文本情感褒贬分析(结果类别：1褒 2贬

　　图像内容识别识别(结果类别：1喵星人 2汪星人 3人类 4草泥马 5都不是

　　2) 回归问题

根据数据样本上抽取出的特征，预测一个连续值的结果。

比如：

　　星爷《美人鱼》票房

　　大帝都2个月后的房价

　　隔壁熊孩子一天来你家几次，宠幸你多少玩具

　　3) 聚类等问题

根据数据样本上抽取出的特征，让样本抱抱团(相近/相关的样本在一团内)。

比如：
　　google的新闻分类

　　用户群体划分

从是否使用标签处理数据可以分为:

1) 监督学习

　　分类与回归问题需要用已知结果的数据做训练

2) 无监督学习

　　聚类的问题不需要已知标签

1.2 机器学习的应用

　　1) 计算机视觉

典型的应用包括：人脸识别、车牌识别、扫描文字识别、图片内容识别、图片搜索等等。

2) 自然语言处理

典型的应用包括：搜索引擎智能匹配、文本内容理解、文本情绪判断，语音识别、输入法、机器翻译等等。

3) 社会网络分析

典型的应用包括：用户画像、网络关联分析、欺诈作弊发现、热点发现等等。

4) 推荐

典型的应用包括：虾米音乐的“歌曲推荐”，某宝的“猜你喜欢”等等。

2 学习路径

　　基本学习路径 
　　

　　机器学习是一个将数学/算法理论和工程实践紧密结合的领域

　　　　需要扎实的理论基础帮助引导数据分析与模型调优

　　　　同时也需要精湛的工程开发能力去高效化地训练和部署模型和服务

3.1 数学基础

　　每一个算法，要在训练集上最大程度拟合同时又保证泛化能力，需要不断分析结果和数据，调优参数，这需要我们对数据分布和模型底层的数学原理有一定的理解

　　1) 微积分

　　微分的计算及其几何、物理含义，是机器学习中大多数算法的求解过程的核心。比如算法中运用到梯度下降法、牛顿法等

　　如果对其几何意义有充分的理解，就能理解“梯度下降是用平面来逼近局部，牛顿法是用曲面逼近局部”，能够更好地理解运用这样的方法。

　　凸优化和条件最优化 的相关知识在算法中的应用随处可见，如果能有系统的学习将使得你对算法的认识达到一个新高度。

　　2) 线性代数

　　大多数机器学习的算法要应用起来，依赖于高效的计算，通过转化成矩阵之间的乘法运算，这就和线性代数有莫大的关系了\\ 

　　向量的内积运算更是随处可见。

　　矩阵乘法与分解在机器学习的主成分分析（PCA）和奇异值分解（SVD） 等部分呈现刷屏状地出现。

　　3) 概率论

　　从广义来说，机器学习在做的很多事情，和统计层面数据分析和发掘隐藏的模式，是非常类似的。

　　极大似然思想、贝叶斯模型 是理论基础，朴素贝叶斯(Naïve Bayes )、语言模型(N-gram)、隐马尔科夫（HMM）、隐变量混合概率模型是他们的高级形态 

　　常见分布如高斯分布是混合高斯模型(GMM)等的基础。

3.2 典型算法

　　绝大多数问题用典型机器学习的算法都能解决，粗略地列举一下这些方法如下

　　处理分类问题的常用算法包括：逻辑回归(工业界最常用)，支持向量机，随机森林，朴素贝叶斯(NLP中常用)，深度神经网络(视频、图片、语音等多媒体数据中使用)。

　　处理回归问题的常用算法包括：线性回归，普通最小二乘回归（Ordinary Least Squares Regression），逐步回归（Stepwise Regression），多元自适应回归样条（Multivariate Adaptive Regression Splines）

　　处理聚类问题的常用算法包括：K均值（K-means），基于密度聚类，LDA等等。

　　降维的常用算法包括：主成分分析（PCA）,奇异值分解（SVD） 等。

　　推荐系统的常用算法：协同过滤算法

　　模型融合(model ensemble)和提升(boosting)的算法包括：bagging，adaboost，GBDT，GBRT

　　其他很重要的算法包括：EM算法等等。

　　机器学习的算法更关注结果数据的召回率、精确度、准确性等方面, 当然, 对效率和资源占用的考量是不可或缺的

3.3 常用工具

　　Python和R语言是常用的机器学习的语言

　　一般计算机相关的同学用Python多一些，而数学统计出身的同学更喜欢R一些

　　1) python

　　python有着全品类的数据科学工具，从数据获取、数据清洗到整合各种算法都做得非常全面。

　　网页爬虫:

　　　　scrapy

　　数据挖掘:

　　　　pandas：模拟R，进行数据浏览与预处理

　　　　numpy：数组运算

　　　　scipy：高效的科学计算 

　　　　matplotlib：非常方便的数据可视化工具 

　　机器学习:

　　　　scikit-learn: 几乎所有的机器学习算法输入输出部分格式都一致, 对于不是非常高纬度、高量级的数据，scikit-learn胜任得非常好

　　　　libsvm：高效率的svm模型实现(了解一下很有好处，libsvm的系数数据输入格式，在各处都非常常见)

　　　　keras/TensorFlow：对深度学习感兴趣的同学，也能很方便地搭建自己的神经网络了

　　自然语言处理:

　　　　nltk：自然语言处理的相关功能做得非常全面，有典型语料库，而且上手也非常容易

　　　　交互式环境： ipython notebook：能直接打通数据到结果的通道，方便至极。强力推荐

　　2) R

　　R最大的优势是开源社区，聚集了非常多功能强大可直接使用的包

　　常见的package包括：RGtk2, pmml, colorspace, ada, amap, arules, biclust, cba, descr, doBy, e1071, ellipse　　

　　R的可视化效果做得非常不错，而这对于机器学习是非常有帮助的。

　　3) Java

　　WEKA Machine Learning Workbench 相当于java中的scikit-learn

　　其他的工具如Massive Online Analysis（MOA）、MEKA 、 Mallet 等也非常有名

　　更多详细的应用请参考这篇文章《25个Java机器学习工具&库》

　　4) C++

　　mlpack，高效同时可扩充性非常好的机器学习库。

　　Shark：文档齐全的老牌C++机器学习库。

　　5) 大数据相关

　　Hadoop：基本上是工业界的标配了。一般用来做特征清洗、特征处理的相关工作 

　　Spark：提供了MLlib这样的大数据机器学习平台，实现了很多常用算法。但可靠性、稳定性上有待提高

　　6) 操作系统

　　mac和Linux会方便一些，mac和linux在下载安装软件、配置环境更快

　　在Windows系统上, 推荐anaconda，一步到位安装完python的全品类数据科学工具包。

3.4 基本工作流程

　　以上我们基本具备了机器学习的必要条件，剩下的就是怎么运用它们去做一个完整的机器学习项目。其工作流程如下:

　　1) 抽象成数学问题

　　明确我们可以获得什么样的数据，目标是一个分类还是回归或者是聚类的问题，如果都不是的话，如果划归为其中的某类问题。

　　2) 获取数据

　　数据决定了机器学习结果的上限，而算法只是尽可能逼近这个上限。

　　数据要有代表性，否则必然会过拟合。

　　而且对于分类问题，数据偏斜不能过于严重，不同类别的数据数量不要有数个数量级的差距 

　　而且还要对数据的量级有一个评估，多少个样本，多少个特征，可以估算出其对内存的消耗程度，判断训练过程中内存是否能够放得下。

　　如果放不下就得考虑改进算法或者使用一些降维的技巧了。如果数据量实在太大，那就要考虑分布式了。

　　3) 特征预处理和特征选择

　　良好的数据要能够提取出良好的特征才能真正发挥效力。

　　特征预处理、数据清洗是很关键的步骤，往往能够使得算法的效果和性能得到显著提高。

　　归一化、离散化、因子化、缺失值处理、去除共线性等，数据挖掘过程中很多时间就花在它们上面。这些工作简单可复制，收益稳定可预期，是机器学习的基础必备步骤。

　　筛选出显著特征、摒弃非显著特征，需要机器学习工程师反复理解业务。

　　这需要运用特征有效性分析的相关技术，如相关系数、卡方检验、平均互信息、条件熵、后验概率、逻辑回归权重等方法。

　　4) 训练模型并调优

　　真正考验水平的是调整这些算法的（超）参数，使得结果变得更加优良。

　　这需要我们对算法的原理有深入的理解。理解越深入，就越能发现问题的症结，提出良好的调优方案。

　　5) 模型诊断

　　如何确定模型调优的方向与思路呢？这就需要对模型进行诊断的技术。

　　过拟合、欠拟合 判断是模型诊断中至关重要的一步。常见的方法如交叉验证，绘制学习曲线等。

　　过拟合的基本调优思路是增加数据量，降低模型复杂度。欠拟合的基本调优思路是提高特征数量和质量，增加模型复杂度。

　　误差分析 也是机器学习至关重要的步骤。通过观察误差样本，全面分析误差产生误差的原因:是参数的问题还是算法选择的问题，是特征的问题还是数据本身的问题

　　诊断后的模型需要进行调优，调优后的新模型需要重新进行诊断，这是一个反复迭代不断逼近的过程，需要不断地尝试， 进而达到最优状态。

　　6) 模型融合

　　一般来说，模型融合后都能使得效果有一定提升。而且效果很好。

　　工程上，主要提升算法准确度的方法是分别在模型的前端（特征清洗和预处理，不同的采样模式）与后端（模型融合）上下功夫。

　　因为他们比较标准可复制，效果比较稳定。而直接调参的工作不会很多，毕竟大量数据训练起来太慢了，而且效果难以保证。

　　7) 上线运行

　　工程上是结果导向，模型在线上运行的效果直接决定模型的成败。 不单纯包括其准确程度、误差等情况，还包括其运行的速度(时间复杂度)、资源消耗程度（空间复杂度）、稳定性是否可接受

　　这些工作流程主要是工程实践上总结出的一些经验。并不是每个项目都包含完整的一个流程。这里的部分只是一个指导性的说明，只有大家自己多实践，多积累项目经验，才会有自己更深刻的认识。

3.5 关于积累项目经验

　　在学习机器学习当中, 需要持有一个观点: 脱离业务和数据的算法讨论是毫无意义的

　　先完整地走完机器学习的整个工作流程，不断尝试各种算法深挖这些数据的价值，在运用过程中把数据、特征和算法搞透，真正积累出项目经验 才是最快、最靠谱的学习路径。

　　那如何获取数据和项目呢？一个捷径就是积极参加国内外各种数据挖掘竞赛，数据直接下载下来，按照竞赛的要求去不断优化，积累经验。

　　国外的Kaggle和国内的DataCastle 以及阿里天池比赛都是很好的平台

3.6 自主学习能力

　　自主学习的能力对于任何一种新知识和技能的学习来说都是至关重要的。 自主学习能力提升后，意味着你能够跟据自己的情况，找到最合适的学习资料和最快学习成长路径。

　　1) 信息检索并过滤和整合

　　一般绝大多数信息都能够在网络上找到

　　google搜索引擎技巧: 组合替换搜索关键词、站内搜索、学术文献搜索、PDF搜索等

　　一个比较好的习惯是找到信息的原始出处，如个人站、公众号、博客、专业网站、书籍等等。这样就能够找到系统化、不失真的高质量信息

　　百度搜到的技术类信息不够好，建议只作为补充搜索来用。各种搜索引擎都可以交叉着使用效果更好

　　学会去常见的高质量信息源中搜索东西:stackoverflow（程序相关）、quora（高质量回答）、wikipedia（系统化知识，比某某百科不知道好太多）、知乎（中文、有料）、网盘搜索

　　将搜集到的网页放到分类齐全的云端收藏夹里，并经常整理。这样无论在公司还是在家里，在电脑前还是在手机上，都能够找到自己喜欢的东西。

　　搜集到的文件、代码、电子书等等也放到云端网盘里，并经常整理

　　2) 提炼和总结

　　经常作笔记，并总结自己学到的知识是成长的不二法门。发现知识的共性，就能少记一些东西，掌握得更多。

　　笔记建议放到云端笔记里，印象笔记、为知笔记都还不错。这样在坐地铁、排队等零碎的时间都能看到笔记并继续思考。

　　3) 提问和求助

　　机器学习的相关QQ群、论坛、社区一大堆

为了让回答者最快明白你的问题，最好该学会正确的问问题的方式:陈述清楚你的业务场景和业务需求是什么，有什么已知条件，在哪个具体的节点上遇到困难了，并做过哪些努力。

有一篇经典的文章告诉你怎样通过提问获得帮助：《提问的智慧》

别人帮助你的可能性与你提问题的具体程度和重要性呈指数相关

4) 分享

证明自己真的透彻理解一个知识，最好的方法，是给一个想了解这个内容的人，讲清楚这个内容

 分享能够最充分地提升自己的学习水平。这也是我们坚持长期分享最重要的原因。

分享还有一个副产品，就是自己在求助的时候能够获得更多的帮助机会

4 资源推荐

4.1 入门资源

　　首先coursera 是一个非常好的学习网站，集中了全球的精品课程。

　　微积分相关

Calculus: Single Variable 
Multivariable Calculus

线性代数

Linear Algebra 

概率统计

Introduction to Statistics: Descriptive Statistics 
Probabilistic Systems Analysis and Applied Probability

编程语言

Programming for Everybody:Python 
DataCamp: Learn R with R tutorials and coding challenges:R

机器学习方法　　

Statistical Learning(R) 
machine learning：强烈推荐，Andrew Ng老师的课程

机器学习基石

机器学习技术：林轩田老师的课相对更有深度一些，把作业做完会对提升对机器学习的认识。 
自然语言处理:斯坦福大学课程 
日常阅读的资源 
@爱可可-爱生活的微博 
机器学习日报的邮件订阅 等。

4.2 进阶资源

　　有源代码的教程

scikit-learn中各个算法的例子 
《机器学习实战》 有中文版，并附有python源代码。 
《The Elements of Statistical Learning (豆瓣)》 这本书有对应的中文版：《统计学习基础 (豆瓣)》。书中配有R包。可以参照着代码学习算法。网盘中有中文版。 
《Natural Language Processing with Python (豆瓣)》 NLP 经典，其实主要是讲 python的NLTK 这个包。网盘中有中文版。 
《Neural Networks and Deep Learning》 Michael Nielsen的神经网络教材，浅显易懂。国内有部分翻译，不全，建议直接看原版。

　　图书与教材

《数学之美》：入门读起来很不错。 
《统计学习方法 (豆瓣) 》：李航经典教材。 
《Pattern Recognition And Machine Learning (豆瓣) 》：经典中教材。 
《统计自然语言处理》自然语言处理经典教材 
《Applied predictive modeling》：英文版，注重工程实践的机器学习教材 
《UFLDL教程》：神经网络经典教材 
《deeplearningbook》:深度学习经典教材。

　　工具书

《SciPy and NumPy (豆瓣) 》 
《Python for Data Analysis (豆瓣) 》作者是Pandas这个包的作者

　　其他网络资料

机器学习(Machine Learning)与深度学习(Deep Learning)资料汇总