机器学习高阶训练营知识点一览

Posted 2020-11-29 jimchen1218

第一阶段 机器学习基础与凸优化

 【核心知识点】

- KNN，Weighted KNN、近似KNN

- KD树，近似KD树、哈希算法、LSH

- 岭回归、LASSO、ElasticNet

- 正则：L1, L2, L-inifity Norm

- LR、GD、SGD、小批量SGD

- 凸集，凸函数、判定凸函数

- LP、QP、ILP、SDP问题

- Duality，Strong Duality、KKT条件

- 带条件/无条件优化问题、Projected GD

- 平滑函数、Convergence Analysis

第二阶段 SVM与集成模型

【核心知识点】

- Max-Margin与线性SVM构建

- Slack Variable以及条件的松弛

- SVM的Dual、Kernelized SVM

- Kernel Functions, Mercer 定理

- Kernelized LR/KNN/K-Means/PCA

- Bagging, Boosting, Stacking

- 信息论与决策树- 随机森林，完全随机森林

- 基于残差的提升树训练思想- GBDT与XGBoost

- 集成不同类型的模型

- VC理论， PAC Learning