最优分离超平面目标函数混淆
Posted
技术标签:
【中文标题】最优分离超平面目标函数混淆【英文标题】：optimal separating hyperplane objective function confusion 【发布时间】：2016-10-07 22:50:08 【问题描述】：Chapter 4.5.2 of Elements of Statistical Learning
不明白什么意思：
＂由于任何满足这些不等式的β和β0，任何正标度 多重也满足，我们可以任意设置||β|| = 1/M.”
另外，最大化 M 是如何变成最小化 1/2(||β||^2) 的？
【问题讨论】：
【参考方案1】：＂由于任何满足这些不等式的β和β0，任何正标度倍数也满足它们，我们可以任意设置||β|| = 1/M.”
y_i(x_i' b + b0) >= M ||b||
因此对于任何 c>0
y_i(x_i' [bc] + [b0c]) >= M ||bc||
因此你总能找到这样的 c 满足 ||bc|| = 1/M，所以我们可以只关注 b 使得它们具有这样的范数（我们只是限制了可能解决方案的空间，因为我们知道缩放变化不大）
另外，最大化 M 是如何变成最小化 1/2(||β||^2) 的？
我们把 ||b|| = 1/M，因此 M=1/||b||
max_b M = max_b 1 / ||b||
现在正 f(b) 的最大化等效于 1/f(b) 的最小化，所以
min ||b||
因为||b||为正，它的最小化就相当于平方最小化，以及乘以1/2（这不会改变最优b）
min 1/2 ||b||^2
【讨论】：
以上是关于最优分离超平面目标函数混淆的主要内容，如果未能解决你的问题，请参考以下文章