监督学习模型分类 生成模型 判别模型 概率模型 非概率模型 参数模型 非参数模型

Posted 2021-01-01 jhc888007

判别模型和生成模型：统计学派和贝叶斯学派之争

• 判别模型：

　　直接对输入空间到输出空间的映射h(x)做预测，或者直接对条件概率分布P(y|x)做预测

　　PM，SVM，NN，KNN，LR，DT

　　模型一般更准确

　　不需要预设条件

　　鲁棒性更高

• 生成模型：

　　先对概率分布P(x,y)做预测，根据贝叶斯公式得到P(y|x)

　　GDA，NB，HMM

　　收敛速度一般更快

　　可以训练包含隐变量的模型

　　需要假设的先验分布

　　可以还原出联合概率分布P(x,y)

　　可以还原出判别模型，但反过来不行

概率模型和非概率模型：预测概率还是预测映射

• 非概率模型：

　　直接对输入空间到输出空间的映射h(x)做预测

　　PM，SVM，NN，KNN

　　优化方法为经验风险最小化、结构风险小化等

• 概率模型：

　　对条件概率分布P(y|x)做预测

　　LR，DT，GDA，NB，HMM

　　优化方法为最大似然估计、最大后验概率估计等

参数模型和非参数模型：模型由训练数据本身构成还是模型参数构成

• 参数模型：

　　模型中包含若干参数，训练完成则训练数据无用，根据模型参数预测结果

　　LR，PM，GDA，NB，简单NN，HMM

　　需要训练数据较少，训练较快，需要假设空间与实际映射空间吻合，模型容易理解，不适合实际映射隐藏的情况

• 非参数模型：

　　模型由训练数据本身构成

　　SVM，KNN，DT

　　需要训练数据较多，训练较慢，但不需要假定假设空间，如果训练集无限大可以无限逼近实际映射，训练集小时容易过拟合，预测性能高

 

 

参考文献：

https://blog.csdn.net/qq_39521554/article/details/79134274

https://blog.csdn.net/pandamax/article/details/78636834