《统计学习方法》李航 读书笔记
习题
1.1 伯努利模型下的极大似然估计与贝叶斯估计。
答：
伯努利模型：总体信息、样本信息
\[
P(A|\theta) = \sum_{i=1}^{N}\frac{I(O_i = 1)}{N} \quad ^{[1]}
\]
贝叶斯估计：总体信息、样本信息、先验信息
\[
P(A|\theta_{Bayes}) = \frac{k+1}{N+2}
\]
[1] 《概率论与数理统计（第二版）》卯师松. 高等教育出版社
1.2 当损失函数是对数损失函数时，经验风险最小化等价于极大似然估计。
经验风险最小化 \(\min \frac{1}{N}\sum_{i=1}^{N} L(y_i|f(x_i))\)
对数损失函数 \(L(Y,P(X|Y)) = -\log P(Y|X)\)
证明：
损失函数为对数函数时的经验风险最小化
\[ \begin{align} \min \frac{1}{N}\sum_{i=1}^{N} -\log P(Y|X) & = \max \frac{1}{N}\sum_{i=1}^{N} \log P(Y|X) \& \Longrightarrow \max \frac{1}{N}\log\sum_{i=1}^{N} P(Y|X) \& \Longrightarrow \max \frac{1}{N} \sum_{i=1}^{N} P(Y|X) \quad 极大似然估计 \end{align} \]