机器学习

Posted 2021-01-08 wwshadow

机器学习定义：

　　三要素：

　　　　模型：输入空间到输出空间的映射关系。学习的过程即为从假设空间中搜索适合当前数据的假设。

　　　　策略：从假设空间的众多假设中选择到最优的模型的学习标准或规则。

　　　　算法：学习模型的具体的计算方法，通常是求解最优化问题。

　　　　模型->确定学习范围 　　策略->确定学习规则  算法->按规则在范围内学习

模型：

　　目标确定需要解决的问题，

　　　　　　1.预测分类：分类

　　　　　　2.预测取值：回归

　　　　　　3.发现结构：聚类

　　　　　　4发现异常数据：异常检测

策略：

　　1.评估单个模型对单个训练样本的效果

　　2.评估某个模型对训练集的整体效果

　　3.评估某个模型对包括训练集，预测集在内的所有数据的整体效果

　　定义指标衡量上述问题：

　　1.损失函数:0-1损失函数、平方损失函数、绝对损失函数、对数损失函数

　　　　用来衡量预测结果与真实结果之间的差距，其值越小，代表预测结果和真是结果越一致

通常为非负实值函数，损失函数记做 L(Y,f(x))

　　　　0-1:理想状况模型

　　　　Log:逻辑回归，交叉熵

　　　　Squared:线性回归

　　　　Exponential:AdaBoosting

　　　　Hinge:SVM,soft margin

 

　　2.风险函数：经验风险、期望风险、结构风险

　　基本策略：

　　经验风险最小(ERM:Empirical Risk Minimization)：

　　结构风险最小(SRM:Structural Risk Minimization)：