Set_ML

Posted 2020-10-06

• 假设函数（Hypothesis Function）模型的知识表达：

　　然后利用已知的数据对其中的参数进行求解，再将该函数用于新数据的预测，其中参数的求解过程称为“训练（Training） or 学习（Learning）”

• 待优化参数 θ₀，θ₁
• 损失函数(loss function)，或叫代价函数(cost function)

　　损失函数越小，就代表模型拟合的越好。

　　常见形式：

　　残差平方和（residual sum of squares）成本函数

　　均方误差

• 损失函数最小目标转换为经验风险最小化

　　由于我们输入输出的 遵循一个联合分布，但是这个联合分布是未知的，所以无法计算。但是我们是有历史数据的，就是我们的训练集， 关于训练集的平均损失称作经验风险(empirical risk)，即 ，所以我们的目标就是最小化 ，称为经验风险最小化。

• 结构风险

　　为了平衡经验风险最小化目标与模型的复杂性（模型对数据的记性）引入结构风险，常用方法L1和L2范数。

• 目标函数

最终的优化函数是： ，即最优化经验风险和结构风险，而这个函数就被称为目标函数。