有关利用libsvm对数据进行归一化的问题。

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了有关利用libsvm对数据进行归一化的问题。相关的知识,希望对你有一定的参考价值。

用libsvm中的svm-scale.exe进行归一化后,归一化后的数据去哪里了? 并没有保存下来啊,我打开训原始练数据也没有发现有变化,那训练的时候怎么利用归一化后的数据呢?

参考技术A 如果按照 svm-scale [option] ...\data.txt的命令格式执行的话,归一化结果会直接输出在cmd窗口中而不会保存。
如果想要将结果输出到某一个文件中(以result.txt为例),则只需再原来的指令后面加上“ > result.txt ”,即svm-scale [option] ...\data.txt > ...\result.txt,‘>’的意义便是将结果重定向到某一位置。

机器学习笔记:为什么要对数据进行归一化处理?

文章来自知乎,作者hit nlper 忆臻

转自:https://zhuanlan.zhihu.com/p/27627299

在喂给机器学习模型的数据中,对数据要进行归一化的处理。

为什么要进行归一化处理,下面从寻找最优解这个角度给出自己的看法。

例子

假定为预测房价的例子,自变量为面积,房间数两个,因变量为房价。

那么可以得到的公式为:

技术分享

其中技术分享代表房间数,技术分享代表技术分享变量前面的系数。

其中技术分享代表面积,技术分享代表技术分享变量前面的系数。

首先我们祭出两张图代表数据是否均一化的最优解寻解过程。

未归一化:

技术分享

归一化之后

技术分享

为什么会出现上述两个图,并且它们分别代表什么意思。

我们在寻找最优解的过程也就是在使得损失函数值最小的theta1,theta2。

上述两幅图代码的是损失函数的等高线。

我们很容易看出,当数据没有归一化的时候,面积数的范围可以从0~1000,房间数的范围一般为0~10,可以看出面积数的取值范围远大于房间数。

影响

这样造成的影响就是在画损失函数的时候,

数据没有归一化的表达式,可以为:

技术分享

造成图像的等高线为类似椭圆形状,最优解的寻优过程就是像下图所示:

技术分享

而数据归一化之后,损失函数的表达式可以表示为:

技术分享

其中变量的前面系数几乎一样,则图像的等高线为类似圆形形状,最优解的寻优过程像下图所示:

技术分享

从上可以看出,数据归一化后,最优解的寻优过程明显会变得平缓,更容易正确的收敛到最优解。

这也是数据为什么要归一化的一个原因。

以上是关于有关利用libsvm对数据进行归一化的问题。的主要内容,如果未能解决你的问题,请参考以下文章

处理数据时不进行归一化会有啥影响?归一化的作用是啥

sklearn进行对数据标准化、归一化以及将数据还原的方法

Python 数据归一化/标准化

关于用matlab进行向量归一化的问题

matlab 怎样进行数据归一化

在python上数据归一化后怎样还原