统计学-统计学方法三要素--策略

Posted 2020-11-28 afeili

1、损失函数：度量预测错误的程度，评估模型单次预测的好坏。

　　a：0-1损失函数：

$L(Y,f(X))=egin{cases}0 & ext{ if } Y=f(X) \ 1 & ext{ if } Y eq f(X) end{cases}$

　　b：平方损失函数：

 $L(Y,f(X))=(Y-f(X))^2$

　　c：绝对损失函数：

$L(Y,f(X))=left | Y-f(X) ight |$

　　d：对数损失函数：

$L(Y,p(Y|X))=-log(p(Y|X))$

2、风险函数：损失函数的期望，评估模型平均预测好坏。

$R_{exp}(L(Y,f(X)))=int_{x*y}L(Y,f(X))p(X,Y)dxdy$

　　经验风险：关于训练集的平均损失。

$R_{emp}(L(Y,f(X)))=frac{1}{n}sum L(Y,f(X))$

　　经验风险最小化：

$underset{F epsilon f}{min}frac{1}{n}sum L(Y,f(X))$

eg：当模型是条件概率，损失函数是对数损失函数时，经验风险最小化等价于极大似然估计。

　　结构风险：是为了防止过拟合。

$R_{srm}(L(Y,f(X)))=frac{1}{n}sum L(Y,f(X))+lambda J(f)$

eg：当模型是条件概率，损失函数是对数损失函数，模型复杂度由先验概率表示时，经验风险最小化等价于最大后验概率估计。

---

1、(Bayes)贝叶斯定理

$P(A|B)=frac{P(B|A)P(A)}{P(B)}$（“后验概率=标准似然度*先验概率”）

2、似然函数

$p(x| heta)$

• x:表示一个具体数据
• $ heta$:表示模型参数

• 如果$ heta$已知，x为变量，这个函数是概率函数。$p(x| heta)$表示取到不同x的概率是多少。
• 如果x已知，$ heta$为变量，这个函数是似然函数。$p(x| heta)$表示不同$ heta$模型，出现x的概率。

 

3、极大似然估计

• 就是利用已知的样本结果信息，反推最具可能（最大概率）导致样本结果产生的模型参数
• 这样给定了一种通过样本结果评估模型参数的方法，“样本已定，模型未知”。

[1]https://zhuanlan.zhihu.com/p/26614750

---