从中国农业银行“雅典娜杯”数据挖掘大赛看金融行业数据分析与建模方法

Posted 2020-12-15 zhengzhicong

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了从中国农业银行“雅典娜杯”数据挖掘大赛看金融行业数据分析与建模方法相关的知识，希望对你有一定的参考价值。

【说在前面】本人博客新手一枚，象牙塔的老白，职业场的小白。以下内容仅为个人见解，欢迎批评指正，不喜勿喷！[握手][握手]
【再啰嗦一下】如果你对数据挖掘感兴趣，欢迎先浏览我的另一篇随笔：数据挖掘比赛/项目全流程介绍
【再啰嗦一下】如果你对金融科技感兴趣，欢迎浏览我的另一篇随笔：如果你想了解金融科技，不妨先了解金融科技有哪些可能？
【最后再说一下】本文结合了博主、内部赛优秀团队以及外部赛冠/亚/季军的方案分享！

如何进行金融行业数据分析与建模，是挖掘金融行业数据价值的重要手段。金融行业数据分析与建模方法主要包括七个重要环节，每个环节紧密相连。
技术图片

1. 赛题介绍

1.1 赛题名称

贷款风险预测（逾期还款分三种情况：要么用户不愿意还款、要么没有钱还款、要么忘了还款）

1.2 问题描述

根据数据集中8万用户的相关信息，预测用户未来是否会逾期还款。

1.3 提供数据

用户基本信息、银行卡流水、信用卡账单信息以及用户行为数据，字段内容均为脱敏数据。

1.4 评估指标

Kolmogorov-Smirnov(KS)是风险评分领域常用的评估指标，反应模型对正负样本的辨识能力，KS越高表明模型对正负样本的辨识能力越强。
KS = max { | f(s|P) - f(s|N) | }
其中，f(s|P) 为正样本预测值的累计分布函数，f(s|N) 为负样本在预测值上的累计分布函数。
技术图片

2. 数据探索

通过数据可视化查看数据样本的分布以及特征的统计规律。

正/负样本比例1：4（应该是人工采样过，实际业务中逾期样本比例很少）
训练集/测试集样本比例6w：8k
......

3. 数据预处理

主要包括数据的缺失值处理、异常值处理、拼接、去重等基本处理。同时，还有汇率转换和单位净值*份额等基本数据操作。

4. 特征工程

4.1 基本特征

根据类别型和数值型数据在标签上的分布进行预处理，包括标准化、归一化、离散化、平滑化、one-hot编码等。

4.2 时序变化特征

银行卡流水：计算用户在全局、特定条件下（交易类型，非工资收入/工资收入，支出/收入）的金额和时间的统计特征（sum/count/mean/median/std/min/max）
信用卡账单：计算用户在全局、特定条件下（银行标识，还款状态）的金额（上期账单金额，上期还款金额，本期账单余额，信用卡额度）和账单时间戳的统计信息
浏览行为：计算用户每天每种行为类型/子类型的count、浏览行为数和浏览时间的统计信息
日期的转换：根据上半年/下半年、季度、月份等时间维度，提取大量可能的日期特征衍生
滑动窗口处理：根据不同时间区间（近一个月、近两个月等），计算用户对应的银行流水、信用卡账单、浏览行为的基础特征/统计特征
屏蔽采样时间差异的特征：取前五条和最后五条处理等
......