Datawhale动手学习数据分析-Task5

Posted 2021-08-21 GoAl的博客

数据建模及模型评估

1.特征工程

1.1 缺失值填充

• 对分类变量缺失值：填充某个缺失值字符(NA)、用最多类别的进行填充
• 对连续变量缺失值：填充均值、中位数、众数

2.模型搭建

处理完前面的数据我们就得到建模数据，下一步是选择合适模型在进行模型选择之前我们需要先知道数据集最终是进行监督学习还是无监督学习.除了根据我们任务来选择模型外，还可以根据数据样本量以及特征的稀疏性来决定刚开始我们总是先尝试使用一个基本的模型来作为其baseline，进而再训练其他模型做对比，最终选择泛化能力或性能比较好的模型

2.1 切割训练集和测试集

按比例切割训练集和测试集(一般测试集的比例有30%、25%、20%、15%和10%)
按目标变量分层进行等比切割
设置随机种子以便结果能复现

2.2 模型创建

• 创建基于线性模型的分类模型（逻辑回归）
• 创建基于树的分类模型（决策树、随机森林）
• 查看模型的参数，并更改参数值，观察模型变化

2.3 输出模型预测结果

• 输出模型预测分类标签
• 输出不通分类标签的预测概率

2.模型评估

1. 模型评估是为了知道模型的泛化能力。
2. 交叉验证（cross-validation）是一种评估泛化性能的统计学方法，它比单次划分训练集和测试集的方法更加稳定、全面。
3. 在交叉验证中，数据被多次划分，并且需要训练多个模型。
4. 最常用的交叉验证是 k 折交叉验证（k-fold cross-validation），其中 k 是由用户指定的数字，通常取 5 或 10。
5. 准确率（precision）度量的是被预测为正例的样本中有多少是真正的正例
6. 召回率（recall）度量的是正类样本中有多少被预测为正类
7. f-分数是准确率与召回率的调和平均

2.1 交叉验证

• 用10折交叉验证来评估逻辑回归模型
• 计算交叉验证精度的平均值

2.2 混淆矩阵

• 计算二分类问题的混淆矩阵
• 计算精确率、召回率以及f-分数