算法工程师手册(数学基础/统计学习/深度学习/自然语言处理/计算机视觉/工具

Posted 2021-04-12 明柳梦少

本消息仅附作者开源资料的目录，如需进一步学习，请戳文末“阅读原文”移步到作者发布的网站。

作者华校专，曾任阿里巴巴资深算法工程师，现任智易科技首席算法研究员，《Python 大战机器学习》的作者。 笔记内容仅供个人学习使用，非本人同意不得应用于商业领域。

---

数学基础

• 1.线性代数基础

• 一、基本知识

• 二、向量操作

• 三、矩阵运算

• 2.概率论基础

• 一、概率与分布

• 二、期望

• 三、方差

• 四、大数定律及中心极限定理

• 五、不确定性来源

• 六、常见概率分布

• 七、先验分布与后验分布

• 八、测度论

• 九、信息论

• 3.数值计算基础

• 一、数值稳定性

• 二、Conditioning

• 三、梯度下降法

• 四、海森矩阵

• 四、牛顿法

• 五、拟牛顿法

• 六、 约束优化

• 4.常用函数

• 一、 sigmoid

• 二、 softplus

• 三、Gamma 函数和贝塔函数

统计学习

• 0.机器学习简介

• 一、基本概念

• 二、监督学习

• 三、机器学习三要素

• 1.线性代数基础

• 一、线性回归

• 二、广义线性模型

• 三、对数几率回归

• 四、线性判别分析

• 五、感知机

• 2.支持向量机

• 一、 线性可分支持向量机

• 二、线性支持向量机

• 三、非线性支持向量机

• 四、支持向量回归

• 五、SVDD

• 六、序列最小最优化方法

• 七、其它讨论

• 3.朴素贝叶斯

• 一、贝叶斯定理

• 二、朴素贝叶斯法

• 三、半朴素贝叶斯分类器

• 四、其它讨论

• 4.决策树

• 一、 原理

• 二、 特征选择

• 三、生成算法

• 四、剪枝算法

• 五、CART 树

• 六、连续值、缺失值处理

• 七、多变量决策树

• 5.knn

• 一、k 近邻算法

• 二、 kd树

• 6.集成学习

• 一、集成学习误差

• 二、 Boosting

• 三、Bagging

• 四、集成策略

• 五、多样性分析

• 7.梯度提升树

• 一、提升树

• 二、xgboost

• 三、LightGBM

• 8.特征工程

• 一、缺失值处理

• 二、特征编码

• 三、数据标准化、正则化

• 四、特征选择

• 五、稀疏表示和字典学习

• 六、多类分类问题

• 七、类别不平衡问题

• 9.模型评估

• 一、泛化能力

• 二、过拟合、欠拟合

• 三、偏差方差分解

• 四、参数估计准则

• 五、泛化能力评估

• 六、训练集、验证集、测试集

• 七、性能度量

• 七、超参数调节

• 八、传统机器学习的挑战

• 10.降维

• 一、维度灾难

• 二、主成分分析 PCA

• 三、核化线性降维 KPCA

• 四、流形学习

• 五、度量学习

• 六、概率PCA

• 七、独立成分分析

• 八、t-SNE

• 九、LargeVis

• 11.聚类

• 一、性能度量

• 二、原型聚类

• 三、密度聚类

• 四、层次聚类

• 五、谱聚类

深度学习

• 0.深度学习简介

• 一、 介绍

• 二、历史

• 1.机器学习基础

• 一、基本概念

• 二、点估计、偏差方差

• 三、最大似然估计

• 四、贝叶斯估计

• 五、随机梯度下降

• 七、传统机器学习的挑战

• 八、低维流形

• 2.深度前馈神经网络

• 一、基础

• 二、损失函数

• 三、输出单元

• 四、隐单元

• 五、结构设计

• 六、历史小记

• 3.反向传播算法

• 一、链式法则

• 二、反向传播

• 三、深度前馈神经网络

• 四、实现

• 五、应用

• 六、自动微分

• 4.正则化

• 一、 基本概念

• 二、 参数范数正则化

• 三、 约束正则化

• 四、 数据集增强

• 五、 噪声鲁棒性

• 六、 早停

• 七、参数共享

• 八、 dropout

• 九、 稀疏表达

• 十、 半监督学习与多任务学习

• 十一、对抗训练

• 十二、正切传播算法

• 十三、 正则化和欠定问题

• 5.最优化

• 一、代价函数

• 二、神经网络最优化挑战

• 三、 mini-batch

• 四、基本优化算法

• 五、自适应学习率算法

• 六、二阶近似方法

• 七、 共轭梯度

• 八、优化策略和元算法

• 九、参数初始化策略

• 6.卷积神经网络

• 一、卷积运算

• 二、卷积层、池化层

• 三、基本卷积的变体

• 四、算法细节

• 五、 历史和现状

• 7.循环神经网络

• 一、RNN计算图

• 二、循环神经网络

• 三、长期依赖

• 四、序列到序列架构

• 五、递归神经网络

• 六、回声状态网络

• 七、LSTM 和其他门控RNN

• 八、外显记忆

• 8.工程实践指导原则

• 一、性能度量

• 二、默认的基准模型

• 三、决定是否收集更多数据

• 四、选择超参数

• 五、调试策略

• 六、示例：数字识别系统

• 七、数据预处理

• 八、变量初始化

• 九、结构设计

自然语言处理

• 主题模型

• 一、Unigram Model

• 二、pLSA Model

• 三、LDA Model

• 四、模型讨论

• 词向量

• 一、向量空间模型 VSM

• 二、LSA

• 三、Word2Vec

• 四、GloVe

计算机视觉

• 图片分类网络

• 一、LeNet

• 二、AlexNet

• 三、VGG-Net

• 四、Inception

• 五、ResNet

• 六、SENet

• 七、 DenseNet

• 八、小型网络

• 九、趋势

工具

CRF

• CRF++

• 一、安装

• 二、使用

• 三、Python接口

• 四、常见错误

lightgbm

• lightgbm使用指南

• 一、安装

• 二、调参

• 三、进阶

• 四、API

• 五、Docker

xgboost

• xgboost使用指南

• 一、安装

• 二、调参

• 三、外存计算

• 四、 GPU计算

• 五、单调约束

• 六、 DART booster

• 七、Python API