机器学习笔记非线性变换

Posted 2020-09-17

一、非线性问题

对于线性不可分的数据资料，用线性模型分类，Ein会很大，相应的Ein=Eout的情况下，Eout也会很大，导致模型表现不好，此时应用非线性模型进行分类，例如：

分类器模型是一个圆形，假设模型可表示为

转化表示形式

将平方项和常数项转为一次的Z项，则将非线性的特征空间转化为线性的特征空间

可以用线性模型进行分类

二、非线性转换

对于把Q次方的多项式进行全部的一次转换，转换的项数一共为，转换过后的一次模型的dvc等于总的项数，

总的项数为，其中d为特征向量的长度

选择合适的转换项数，项数越多代表模型越复杂，但不要为了减少dvc，人为的在脑袋里加工转换特征，例如，

在上述各种转化中，有dvc为2的甚至为1的，但都是进过自己脑海中转化过的特征，不可取

对于不同的Q次方的情况，有如下结果：

，高次对低次具有包含的关系

Ein随着Q的次方增大会减少，但过高的Q次方会带来Eout的增大，不具有泛化能力，做模型建立是首先考虑线性的模型，如果它做的好的话那就很好（Ein和Eout都很小），若不好（Ein始终很大），在选择高次方的模型