机器学习总结

Posted 2021-06-20 LuckPsyduck

    机器学习中一般怎么衡量模型效果？auc值怎么理解？
    怎么衡量两个分布的差异？KL散度和交叉熵损失有什么不同？
    为什么会发生过拟合？/那如何降低过拟合？
    正则化
    泛化误差如何产生，有哪些方法可以减小？
    dropout原理/dropout训练和测试有什么区别吗？
    生成模型和判别模型
    高斯混合模型以及参数估计过程
    解释一下什么是凸函数
    岭回归和Lasso
    维度灾难是什么，解决方法有哪些
    方差和偏差的概念
    假设检验
    bayes公式

    怎么理解最大似然估计？
    逻辑斯蒂回归里面，输出的那个0-1之间的值，是概率值吗？你看它又叫对数几率回归，怎么理解几率这个概念
    逻辑回归损失函数和求导
    逻辑回归损失函数可以用mse吗？
    逻辑回归建模，如果只有9个正样本，一个负样本，那么有一列特征，这个特征对于的权重是正还是负？
    逻辑回归多分类的目标函数是什么？
    逻辑回归在二分类中用到了sigmoid函数，多分类中是softmax函数，当softmax函数用于二分类问题的时候，这两个的区别？
    直接用Softmax函数进行多分类和用sigmoid的函数二分类组合进行多分类的区别，各自适用于怎么样的场景

    决策树，节点划分有哪些方法，如何剪枝?
    写出信息增益的表达式
    CART了解吗？怎么做回归和分类的？
    信息增益与信息增益率介绍一下

    介绍一下SVM，优化为什么要用对偶？
    SVM和lr的异同点；
    Svm核函数可以用哪些；
    SVM 需不需要做 normalization？
    SVM有什么优点？优化方法？

    bagging和boosting
    bagging里面树的深度和boosting里面的不同，为什么
    boosting和bagging哪个减少方差哪个减少偏差？为什么？

    PCA
    k-means算法和高斯混合模型的关系

    0、1稀疏数据适合随机森林吗？为什么不适合？
    随机森林里面的两个随机，随机森林为什么是减小方差
    树模型对离散特征怎么处理的，可以做哪些特征工程？
    树模型怎么决定一个叶子结点是否要分裂

    比较下随机森林和GBDT
    lightgbm和xgboost的区别
    GBDT使用的什么树？回归树怎么做分类？
    XGBoost的并行化思想体现在哪里？哪些地方可以并行，哪些地方不可以并行？
    Xgboost 的 loss 函数有什么特点，与其他树模型有什么区别
    xgb,gbdt,RF区别与联系
    xgboost正则化项和什么有关
    树模型对缺失值如何处理.Xgboost怎么衡量特征重要性？
    xgboost构建树的时候以什么标准决定要不要做分支
    XGBoost是怎么选择最优分裂点的如果要用树模型的话，可以做哪些特征工程？
    Xgboost的应该着重调哪些参数
    GBDT可以并行吗？