2-5 感知机 - 对偶形式 - 学习模型的推导

Posted 2022-03-12 windmissing

感知机对偶形式由感知机原始形式变化而来。

在原始形式中，感知机的模型为：
$$\begin{gathered} f(x)=sign(w\cdot x+b) \\ sign(x)=\begin{array}{llc}+1,& & x\ge 0\\ -1,& & x<0\end{array}\text{\hspace{1em}(1)} \end{gathered}$$

根据梯度下降法的推导过程可知，当基于一个误分类样本$(x_i,y_i)$作调整时，会这样移动w和b
$$\begin{array}{l}{w}_{new}=w_{old}+\eta y_i{x}_i\\ b_{new}=b_{old}+\eta y_i\end{array}$$

假设初始(w, b)为0，且对每个样本$(x_i,y_i)$分别作了$a_i$次调整，那么最终的(w, b)为：

$$\begin{array}{l}w=\sum a_i\eta y_i{x}_i\\ b=\sum a_i{y}_i\end{array}\text{\hspace{1em}(2)}$$

把公式（2）代入公式（1）得：
$$\begin{gathered} f(x)=sign(\sum _{j=1}^m{a}_j{y}_j{x}_j\cdot x+b) \\ sign(x)=\begin{array}{llc}+1,& & x\ge 0\\ -1,& & x<0\end{array} \end{gathered}$$