习题

Posted 2023-02-13 Paul-Huang

第1章统计学习方法概论

习题1.1

  说明伯努利模型的极大似然估计以及贝叶斯估计中的统计学习方法三要素。伯努利模型是定义在取值为0与1的随机变量上的概率分布。假设观测到伯努利模型$n$次独立的数据生成结果，其中$k$次的结果为1，这时可以用极大似然估计或贝叶斯估计来估计结果为1的概率。

解答：

解答思路：

1. 写出伯努利模型；
2. 写出伯努利模型的极大似然估计以及贝叶斯估计中的统计学习方法三要素；
3. 根据伯努利模型的极大似然估计，估计结果为1的概率；
4. 根据伯努利模型的贝叶斯估计，估计结果为1的概率。

解答步骤：

第1步：伯努利模型
  根据题意：伯努利模型是定义在取值为0与1的随机变量上的概率分布。
  对于随机变量$X$，则有：
$$\begin{gathered} P(X=1)=p \\ P(X=0)=1-p \end{gathered}$$

其中，$p$为随机变量$X$取值为1的概率，$1-p$则为取0的概率。
  由于随机变量$X$只有0和1两个值，$X$的概率分布，即伯努利模型可写为：
$$P_p(X=x)=p^x(1-p{)}^{(1-x)},0⩽p⩽1$$

  则伯努利模型的假设空间为：
$$\mathcal{F}=P|P_p(X)=p^x(1-p{)}^{(1-x)},p\in [0,1]$$

第2步：伯努利模型的极大似然估计以及贝叶斯估计中的统计学习方法三要素
（1）极大似然估计
  模型：伯努利模型
  策略：经验风险最小化。极大似然估计，等价于当模型是条件概率分布、损失函数是对数损失函数时的经验风险最小化。
  算法：极大化似然：$\underset{p}{\mathrm{argmax}}L(p|X)=\underset{p}{\mathrm{argmax}}P(X|p)$

（2）贝叶斯估计
  模型：伯努利模型
  策略：结构风险最小化。贝叶斯估计中的最大后验概率估计，等价于当模型是条件概率分布、损失函数是对数损失函数、模型复杂度由模型的先验概率表示时的结构风险最小化。
  算法：最大化后验概率：$\underset{p}{\mathrm{argmax}}\pi (p|X)=\underset{p}{\mathrm{argmax}}\frac{P(X|p)\pi (p)}{\int P(X|p)\pi (p)dp}$

第3步：伯努利模型的极大似然估计

  极大似然估计的一般步骤：
  参考Wiki：https://en.wikipedia.org/wiki/Maximum_likelihood_estimation

1. 写出随机变量的概率分布函数；
2. 写出似然函数；
3. 对似然函数取对数，得到对数似然函数，并进行化简；
4. 对参数进行求导，并令导数等于0；
5. 求解似然函数方程，得到参数的值。

  对于伯努利模型$n$次独立的数据生成结果，其中$k$次的结果为1，可得似然函数为：
$$\begin{array}{rl}L(p|X)& =P(X|p)\\ & =\prod _{i=1}^{n}P(x^{(i)}|p)\\ & =p^k(1-p{)}^{n-k}\end{array}$$

  对似然函数取对数，得到对数似然函数为：
$$\begin{array}{rl}\log L(p|X)& =\log p^k(1-p{)}^{n-k}\\ & =\log (p^k)+\log \left((1-p{)}^{n-k}\right)\\ & =k\log p+(n-k)\log (1-p)\end{array}$$

  求解参数$p$：
$$\begin{array}{rl}\hat{p}& =\underset{p}{\mathrm{argmax}}L(p|X)\\ & =\underset{p}{\mathrm{argmax}}\left[k\log p+(n-k)\log (1-p)\right]\end{array}$$

  对参数$p$求导，并求解导数为0时的$p$值：
$$\begin{array}{rl}\frac{\partial \log L(p)}{\partial p}& =\frac{k}{p}-\frac{n-k}{1-p}\\ & \\ & \end{array}$$