分类预测与回归模型介绍

Posted 2021-03-22 iceredtea

1.分类与预测

分类与预测是预测问题的两种主要类型；

分类主要是：预测分类标号（离散属性）；

预测主要是：建立连续值函数模型，预测给定自变量对应的因变量的值。

实现过程

（1）分类

　　分类是构造一个分类模型，输入样本属性值，输出对应类别，将每个样本映射到预先定义好的类别。

　　分类模型，建立在已有类标记的数据集上，因此，属于“有监督学习”

（2）预测

　　预测，指建立两种或两种以上变量间相互依赖的函数模型，进行预测或控制

（3）实现过程

　　分类算法：

　　a:学习步，通过归纳分析训练样本集建立分类模型得到分类规则；

　　b:分类步，先用已知的测试样本集，评估分类规则的准确率

　　预测模型：

　　a:通过训练集建立预测属性的函数模型

　　b:在模型通过检验后进行预测或控制

2.常用分类与预测算法   

算法名称	算法描述
回归分析	回归分析，确定预测属性与其他变量间相互依赖的定量关系。包括：线性回归、非线性回归、Logistic回归、岭回归、主成分回归、偏最小二乘回归等模型
决策树	决策树采用自顶向下的递归方式，在内部节点进行属性值比较，并根据不同的属性值从该节点向下分支，最终得到的叶节点是学习划分的类
人工神经网络	人工神经网络是一种模仿大脑神经网络结构和功能而建立的信息处理系统，表示神经网络的输入与输出变量之间关系的模型
贝叶斯网络	贝叶斯网络又称信度网络，是Bayes方法的扩展，是目前不确定知识表达和推理领域最有效的理论模型之一
支持向量机	支持向量机是一种通过某种非线性映射，把低维的非线性可分转化为高维的线性可分，在高维空间进行线性分析的算法

3.回归分析介绍

回归分析是通过建立模型研究变量间的相互关系密切程度，结构状态及模型预测的工具，回归分析研究范围大致如下：

 

4.主要回归模型介绍

回归模型名称	适用条件	算法描述
线性回归	因变量与自变量是线性关系	对一个或多个自变量和因变量间的线性关系进行建模，可用最小二乘法求解模型系数
非线性回归	因变量与自变量间不都是线性关系	对一个或多个自变量和因变量间的非线性关系进行建模。若非线性关系可通过简单的函数变换转化成线性关系，用线性回归的思想求解，若不能转化，用非线性最小二乘法求解
Logistic回归	因变量一般有1和0（是、否）两种取值	广义线性回归模型的特例，利用Logistic函数将因变量的取值范围控制在0、1之间，表示取值为1的概率
岭回归	参与建模的自变量间具有多重共线性	是一种改进最小二乘估计的方法
主成分回归	参与建模的自变量间具有多重共线性	主成分回归是根据主成分分析的思想提出的，是对最小二乘法的改进，它是参数估计的一种有偏估计。可消除自变量间的多重共线性