西瓜书《机器学习》课后答案——Chapter3

Posted 2022-11-30 Vic时代

3.2 试证明，对于参数$\\boldsymbol \\omega$，，对率回归的目标函数(3.18)是非凸的，但其对数似然函数(3.27)是凸的。
解答：

定理：设$f(\\boldsymbol x)$是定义在非空开集$D\\subset \\mathbb R^n$上的二次可微函数，则$f(\\boldsymbol x)$是凸函数的充要条件是在任意点$\\boldsymbol x\\in D$处，$f(\\boldsymbol x)$的Hessian矩阵半正定。

无论是目标函数，还是对数似然函数，二次可微的条件是成立的。所以，只需要判断函数是否满足在任意点处的Hessian矩阵半正定。

$$y = \\frac11+e^-(\\boldsymbol \\omega^T\\boldsymbol x+b)\\tag 1$$
$$\\frac\\partial y\\partial \\boldsymbol \\omega=\\frace^-(\\boldsymbol \\omega^T\\boldsymbol x+b)(1+e^-(\\boldsymbol \\omega^T\\boldsymbol x+b) )^2\\boldsymbol x \\tag 2$$
∂2y∂ω∂ωT=∂∂ωT∂y∂ω=∂∂ωTe−(ωTx+b)(1+e−(ωTx+b))2x=e−(ωTx+b)(1−e−(ωTx+b))(1+e−(ωTx+b))3xxT=y(1−y)(1−2y)xxT(1)(2)(3)(3) (1) ∂ 2 y ∂ ω ∂ ω T = ∂ ∂ ω T ∂ y ∂ ω (2) = ∂ ∂ ω T e − ( ω T x + b ) ( 1 + e − ( ω T x + b ) ) 2 x

以上是关于西瓜书《机器学习》课后答案——Chapter3的主要内容，如果未能解决你的问题，请参考以下文章

西瓜书《机器学习》课后答案——Chapter1

西瓜书《机器学习》课后答案——Chapter1

《机器学习》 周志华版（西瓜书）--课后参考答案

西瓜书《机器学习》课后答案——chapter16_强化学习

西瓜书《机器学习》课后答案——chapter14

课程作业西瓜书 机器学习课后习题 ： 第一章