机器学习中的特征工程

Posted AI算法攻城狮

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了机器学习中的特征工程相关的知识,希望对你有一定的参考价值。

一、前言

数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已。特征工程指的是把原始数据转变为模型的训练数据的过程,它的目的就是获取更好的训练数据特征,使得机器学习模型逼近这个上限。

 

构建一个算法模型需要几个步骤,包括数据准备、特征工程、模型构建、模型调优等,其中特征工程是最重要的步骤,需要 70% 甚至以上的工作量。特征工程主要包括数据预处理、特征选择、特征构造、特征降维等。

通过总结和归纳的特征工程包括以下方面:

 

二、数据预处理

数据预处理是特征工程的最重要的起始步骤,主要包括数据清洗、特征归一化、特征编码、特征离散化等。

 

2.1 数据清洗

数据清洗是数据预处理阶段的主要组成部分,主要包括缺失值处理、异常值处理、样本不平衡处理等。

 

2.1.1 缺失值处理

一般来说,未经处理的原始数据中通常会存在缺失值,因此在建模训练之前需要处理好缺失值。

 

1)缺失数据占比小于 20%。可以通过直接填充法,连续特征一般取均值填充,离散特征可以取众数填充;可以模型预测法,通过随机森林或者决策树进行预测结果填充;也可以通过插值法填充

以上是关于机器学习中的特征工程的主要内容,如果未能解决你的问题,请参考以下文章

干货特征工程:机器学习中的特征与标签自然语言化

一文介绍机器学习中的三种特征选择方法

机器学习-特征工程-Feature generation 和 Feature selection

机器学习scikit-learn中的特征选择小结

机器学习实战 | 机器学习特征工程最全解读

机器学习-特征工程-Missing value和Category encoding