数据分布vs聚类-数据预处理技巧-对数变换

Posted 2021-11-02 cpg123

对于原始数据分布倾斜

利用统计或数学变换来减轻数据分布倾斜的影响。使原本密集的区间的值尽可能的分散，

原本分散的区间的值尽量的聚合。

Log变换通常用来创建单调的数据变换。它的主要作用在于帮助稳定方差，始终保持分布

接近于正态分布并使得数据与分布的平均值无关。

y=log_c(1+λx)

λ通常设置为1，c通常设置为变换数据的最大值。

Log变换倾向于拉伸那些落在较低的幅度范围内自变量值的范围，压缩或减少较高幅度范围

内的自变量值得范围。从而使得倾斜分布尽可能的接近正态分布。