机器学习算法竞赛实战:如何看到机器学习竞赛问题?

Posted 尤尔小屋的猫

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了机器学习算法竞赛实战:如何看到机器学习竞赛问题?相关的知识,希望对你有一定的参考价值。

机器学习算法竞赛实战-竞赛问题建模

更新《机器学习算法竞赛实战》一书的阅读笔记,更多详细的内容请阅读原书。本文的主要内容包含:

  • 竞赛问题的3个主要部分
  • -如何理解竞赛问题
  • 机器学习的样本选择
  • 如何线下评估模型
  • 实战案例

公众号:尤而小屋
作者:Peter
编辑:Peter

竞赛问题建模

针对具体问题的建模分为3个部分:

  • 赛题理解
  • 样本选择
  • 线下评估策略

赛题理解

  1. 业务背景:深入业务、明确目标
  2. 数据理解:数据基础层、数据描述层;前者关注:字段来源、取数逻辑、计算逻辑、生产过程等,后者关注:数据字段的统计量,便于进行统计分析和概括描述。
  3. 评价指标:
  4. 分类模型:错误率、精度、准确率(查准率precision)、召回率(recall,查全率)、F1_score、ROC曲线、AUC和对数损失(logloss)
  5. 回归模型:平均绝对误差MAE、均方误差MSE、均方根误差RMSE、平均百分比误差MAPE

样本选择

主要原因

影响数据质量的4个原因:

  1. 数据集过大(侧重数据量)
  2. 存在噪声和异常值
  3. 样本数据冗余(侧重数据特征的冗余),一般进行特征筛选(降维)
  4. 正负样本不均衡:使用欠采样或者过采样来解决

准确方法

解决数据集过大或者正负样本不均衡的方法:

  1. 简单随机抽样:有放回和无放回
  2. 分层采样:评分加权处理(对不同的类别进行加权)、欠采样(随机欠采样、Tomek Links)、过采样(随机过采样、SMOTE算法)

应用常景

什么场景下需要处理样本不均衡问题?

  • 对召回率有特别要求:即对正样本的预测比负样本重要,如果不处理的话,很难取得较好的建模结果。
  • 如果评价指标是AUC:处理或不处理差别不大
  • 如果正负样本同等重要,无需多做处理

线下评估策略

  1. 强时序性问题:将数据按照时间的先后顺序进行排序,选择最近时间的数据作为测试集
  2. 弱时序性问题:K折交叉验证
    • K=2,2折交叉验证:将数据分为训练集和测试集,受数据划分方式影响大
    • K=N,N折交叉验证(留一验证 leave-one-out Validation),N-1个训练集,1个测试集;训练过程计算量大
    • K=5或者10,折中办法:比如K=5表示取其中4份作为训练集,1份作为验证集,循环5次,取5次训练的评价结果的均值或者投票表决
# 10折交叉验证

from sklearn.model_selection import KFold
NFOLDS = 10   # 控制折数

folds = KFold(n_splits=NFOLDS, shuffle=True, random_state=2023)

for trn_index, val_index in folds.split(X_train, y_train):
    train_df, train_label = X_train.iloc[trn_index,:], y_train[trn_index]  # 根据对应的索引号来取数
    valid_df, valid_label = X_train.iloc[val_index,:], y_train[val_index]

实战案例

导入库

In [1]:

import pandas as pd
import numpy as np

from sklearn.model_selection import KFold  # K折交叉验证
from sklearn.metrics import mean_squared_error  #评价指标mse
from sklearn.preprocessing import OneHotEncoder  # 独热码

import lightgbm as lgb   # lgb模型

import warnings
warnings.filterwarnings("ignore")

加载数据

In [2]:

train = pd.read_csv("train.csv")
test = pd.read_csv("test.csv")

In [3]:

train.head()

查看数据的基本信息情况:

In [4]:

train.isnull().sum() # 缺失值情况

Out[4]:

Id                 0
MSSubClass         0
MSZoning           0
LotFrontage      259
LotArea            0
                ... 
MoSold             0
YrSold             0
SaleType           0
SaleCondition      0
SalePrice          0
Length: 81, dtype: int64

In [5]:

train.dtypes  # 字段类型

Out[5]:

Id                 int64
MSSubClass         int64
MSZoning          object
LotFrontage      float64
LotArea            int64
                  ...   
MoSold             int64
YrSold             int64
SaleType          object
SaleCondition     object
SalePrice          int64
Length: 81, dtype: object

In [6]:

train.describe()  # 描述统计信息

数据预处理

In [7]:

all_data = pd.concat([train,test])  # 数据合并
all_data = pd.get_dummies(all_data)  # 哑变量处理

In [8]:

# 缺失值均值填充
all_data = all_data.fillna(all_data.mean())

In [9]:

all_data.head()

数据集划分

In [10]:

X_train = all_data[:train.shape[0]]
X_test = all_data[train.shape[0]:]

y = train.SalePrice

模型训练与评估

In [11]:

from sklearn.model_selection import KFold
NFOLDS = 5   # 控制折数
folds = KFold(n_splits=NFOLDS, shuffle=True, random_state=2023)

params = "num_leaves":63,
         "min_child_samples":50,
         "objective":"regression",
         "learning_rate":0.01,
         "boosting_type":"gbdt",
         "metric":"rmse"
         

for trn_index, val_index in folds.split(X_train, y):
    train_df, train_label = X_train.iloc[trn_index,:], y[trn_index]  # 根据对应的索引号来取数
    valid_df, valid_label = X_train.iloc[val_index,:], y[val_index]
    
    dtrn = lgb.Dataset(train_df, label=train_label)
    dval = lgb.Dataset(valid_df, label=valid_label)
    
    dst = lgb.train(params, 
                    dtrn,
                    num_boost_round=1000,
                    valid_sets=[dtrn, dval],  # 验证集数据
                    early_stopping_rounds=100,
                    verbose_eval=100
                   )

以上是关于机器学习算法竞赛实战:如何看到机器学习竞赛问题?的主要内容,如果未能解决你的问题,请参考以下文章

算法竞赛五冠五亚得主,手把手带你了解算法竞赛

鱼佬出竞赛书了!

机器学习算法之——支持向量机(Support Vector Machine, SVM)

Python机器学习及实践+从零开始通往Kaggle竞赛之路

教你如何在机器学习竞赛中更胜一筹

在比特币上构建机器学习竞赛市场