特征归一化与独热编码

Posted 2023-03-28

参考技术A

在使用数据挖掘（DM）或机器学习（ML）算法建模时，有时候需要对特征进行归一化（Scaling）或独热编码（One-Hot Encoding）。

以前建模的时候，并没有意识到这一点，好在使用 WoE编码 和tree-based模型救回一命，所以并没有酿成大错。

这篇文章依据Quora上关于「What are good ways to handle discrete and continuous inputs together?」这个问题的 回答 ，谈谈 归一化 和 独热编码 ，包括：

归一化针对的是连续型特征。具体指将不同量级的特征转化为相同量级的特征，以避免数值不同级给模型带来的影响。

比如，「年龄」的数值基本上在1到100之间，而「月薪」的数值通常情况下至少按千算（人民币），假设现在有这么一个模型 Y = b0 + b1年龄 + b2月薪 ，如果将这两个变量转化为相同量级的数值，那么「月薪」对Y的影响就会比「年龄」大很多，这种情况下建立的模型是有偏的（biased）。

最常见的归一化方法有：

其他归一化方法可参考这篇 blog 。

特征归一化的作用，更多解释可参考知乎 「处理数据时不进行归一化会有什么影响？归一化的作用是什么？什么时候需要归一化？有哪些归一化的方法？」 这个问题下的回答。

注意 ，若本来各特征的量级是相同的，最好不要做归一化，以尽可能多地保留信息。

独热编码针对的是离散型特征。具体指的是将具有m个属性值的特征转化为m个二元（只包含-1和1，或0和1）特征。

比如，「性别」这个特征包含有两个属性值：男性和女性（1和2）。进行独热编码后，这一特征则被一分为二：男性 = 0, 1 （或男性 = -1, 1 ）；女性 = 0, 1 （或女性 = -1, 1 ）。

独热编码主要用于避免计算特征之间距离或相似度时产生bias（从而影响模型精度）。

需要注意 ，独热编码只适用于定类变量（Nominal variables），即属性与属性之间不能排序。比如「性别」中1表示男性、2表示女性，这种情况下数字1和数字2之间是平等的、并不存在大小关系，这种情况下使用独热编码是正确的。

还需要注意 ，独热编码和线性回归里的虚拟变量(Dummy variables)的区别，前者的结果是m个二元特征，后者是m-1个。（我现在还没弄明白为什么DM/ML中用的是m个而不是m-1个二元特征，希望知道的人可以指点指点。）

最后，根据Quora的这个 回答 ，并不是所有的算法都需要对特征做归一化和独热编码：

以上。