PRML Chapter01 练习题Exercise
Posted Real&Love
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了PRML Chapter01 练习题Exercise相关的知识，希望对你有一定的参考价值。
PRML Chapter01 练习题Exercise
1.1
我们要证明我们可以根据这个式子得到我们的 w w w的最优解，其实也就是最小化我们的平方损失函数
将1.1的多项式函数代入1.2的平方损失函数中，然后再对我们的
w
w
w求导，最小化我们的函数，可得
∑
n
=
1
N
(
∑
j
=
0
M
w
j
x
n
j
−
t
n
)
x
n
i
=
0
\\sum_{n=1}^{N}\\left(\\sum_{j=0}^{M} w_{j} x_{n}^{j}-t_{n}\\right) x_{n}^{i}=0
n=1∑N(j=0∑Mwjxnj−tn)xni=0
然后我们再换一下位置就可以得到我们的结果
1.2
第二题就是用正则化的损失函数写成上述1.122的形式，其实很简单，我们只需要将我们第一题 A i j A_{ij} Aij替换成 A i j + λ I i j A_{ij}+\\lambda I_{ij} Aij+λIij，也就是对其我们加了一个单位矩阵，就是上面的式子，一样的方法证明，很简单。
1.3
1.3是一个简单用了贝叶斯概率的问题
首先求拿到苹果的概率
p
(
a
)
=
p
(
a
∣
r
)
p
(
r
)
+
p
(
a
∣
b
)
p
(
b
)
+
p
(
a
∣
g
)
p
(
g
)
=
3
10
×
0.2
+
1
2
×
0.2
+
3
10
×
0.6
=
0.34
p(a)=p(a|r)p(r)+p(a|b)p(b)+p(a|g)p(g)\\\\ =\\frac{3}{10}×0.2 + \\frac{1}{2}×0.2 + \\frac{3}{10}×0.6=0.34
p(a)=p(a∣r)p(r)+p(a∣b)p(b)+p(a∣g)p(g)=103×0.2+21×0.2+103×0.6=0.34
第二个问题是求已知拿到的是橙子，求它来自于绿色盒子的概率，这个我们利用贝叶斯公式
p
(
g
∣
o
)
=
p
(
o
∣
g
)
p
(
g
)
p
(
o
)
p
(
o
)
=
p
(
o
∣
r
)
p
(
r
)
+
p
(
o
∣
b
)
p
(
b
)
+
p
(
o
∣
g
)
p
(
g
)
=
0.36
p(g|o)=\\frac{p(o|g)p(g)}{p(o)}\\\\ p(o) =p(o|r)p(r)+p(o|b)p(b)+p(o|g)p(g)=0.36
p(g∣o)=p(o)p(o∣g)p(g)p(o)=p(o∣r)p(r)+p(o∣b)p(b)+p(o∣g)p(g)=0.36
所以我们可以得到我们的结果
p
(
g
∣
o
)
p(g|o)
p(g∣o)
p
(
g
∣
o
)
=
3
10
×
0.6
0.36
=
1
2
p(g|o) = \\frac{3}{10} × \\frac{0.6}{0.36} = \\frac{1}{2}
p(g∣o)=103×0.360.6=21
1.5
E [ ( f ( x ) − E [ f ( x ) ] ) 2 ] = E [ f ( x ) 2 − 2 f ( x ) E [ f ( x ) ] + E [ f ( x ) ] 2 ] = E [ f ( x ) 2 ] − 2 E [ f ( x ) ] E [ f ( x ) ] + E [ f ( x ) ] 2 = E [ f ( x ) 2 ] − E [ f ( x ) ] 2 \\begin{aligned} \\mathbb{E}\\left[(f(x)-\\mathbb{E}[f(x)])^{2}\\right] &=\\mathbb{E}\\left[f(x)^{2}-2 f(x) \\mathbb{E}[f(x)]+\\mathbb{E}[f(x)]^{2}\\right] \\\\ &=\\mathbb{E}\\left[f(x)^{2}\\right]-2 \\mathbb{E}[f(x)] \\mathbb{E}[f(x)]+\\mathbb{E}[f(x)]^{2} \\\\ &=\\mathbb{E}\\left[f(x)^{2}\\right]-\\mathbb{E}[f(x)]^{2} \\end{aligned} E[(f(x)−E[f(x)])2]=E[f(x)2−2f(x)E[f(x)]+E[f(x)]2]=E[f(x)2]−2E[f(x)]E[f(x)]+E[f(x)]2=E[f(x)2]−E[f(x)]2
1.6
cov [ x , y ] = E [ x y ] − E [ x ] E [ y ] \\operatorname{cov}[x, y]=\\mathbb{E}[x y]-\\mathbb{E}[x] \\mathbb{E}[y] cov[x,y]=E[xy]−E[x]E[y]
因为我们知道x和y是独立的，所以
p
(
x
,
y
)
=
p
(
x
)
p
(
y
)
p(x, y)=p(x) p(y)
p(x,y)=p(x)p(y)
E
[
x
y
]
=
∑
x
∑
y
p
(
x
,
y
)
x
y
=
∑
x
p
(
x
)
x
∑
y
p
(
y
)
y
=
E
[
x
]
E
[
y
]
\\begin{aligned} \\mathbb{E}[x y] &=\\sum_{x} \\sum_{y} p(x, y) x y \\\\ &=\\sum_{x} p(x) x \\sum_{y} p(y) y \\\\ &=\\mathbb{E}[x] \\mathbb{E}[y] \\end{aligned}
E[xy]=x∑y∑p(x,y)xy=x∑p(x)xy∑p(y)y=E[x]E[y]
所以最后
c
o
v
[
x
,
y
]
=
0
cov[x,y]=0
cov[x,y]=0
一道题一道题做的有点麻烦，到后面我就跳过，做一些重点标注的题
1.10
因为x和z是独立的，所以