学习笔记Hive—— 实例：航空客户价值分析数据预处理

Posted 2021-10-26 别呀

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了学习笔记Hive—— 实例：航空客户价值分析数据预处理相关的知识，希望对你有一定的参考价值。

一、背景与目标

1.1、背景

1.、行业内竞争
民航的竞争除了三大航空公司之间的竞争之外，还将加入新崛起的各类小型航空公司、民营航空公司，甚至国外航空巨头。航空产品生产过剩，产品同质化特征愈加明显，于是航空公司从价格、服务间的竞争逐渐转向对客户的竞争。

2.、行业外竞争
随着高铁、动车等铁路运输的兴建，航空公司受到巨大冲击。

客户营销战略倡导者Jay & Adam Curry从国外数百家公司进行了客户营销实施的经验中提炼了如下经验：

公司收入的80%来自顶端的20%的客户。
20%的客户其利润率100%。
90%以上的收入来自现有客户。
大部分的营销预算经常被用在非现有客户上。
5%至30%的客户在客户金字塔中具有升级潜力。
客户金字塔中客户升级2%，意味着销售收入增加10%，利润增加50%。

这些经验也许并不完全准确，但是它揭示了新时代客户分化的趋势，也说明了对客户价值分析的迫切性和必要性。

1.2、目标

航空公司数据特征说明

目前航空公司已积累了大量的会员档案信息和其乘坐航班记录。

以2014-03-31为结束时间，选取宽度为两年的时间段作为分析观测窗口，抽取观测窗口内有乘机记录的所有客户的详细数据形成历史数据，44个特征，总共62988条记录。数据特征及其说明如表所示。

结合目前航空公司的数据情况，可以实现以下目标：

借助航空公司客户数据，对客户进行分类。
对不同的客户类别进行特征分析，比较不同类别客户的客户价值。
对不同价值的客户类别提供个性化服务，制定相应的营销策略。

二、数据预处理

航空公司客户原始数据存在少量的缺失值和异常值，需要清洗后才能用于分析。

通过对数据观察发现原始数据中存在票价为空值，票价最小值为0，折扣率最小值为0，总飞行公里数大于0的记录。

票价为空值的数据可能是客户不存在乘机记录造成。

处理方法：丢弃票价为空的记录。

其他的数据可能是客户乘坐0折机票或者积分兑换造成。由于原始数据量大，这类数据所占比例较小，对于问题影响不大，因此对其进行丢弃处理。

处理方法：丢弃票价为0，平均折扣率不为0，总飞行公里数大于0的记录。

2.1、任务步骤

准备：创建air数据库

1、创建表air_data_base
2、导入数据到air_data_base表

3、丢弃票价为空的记录，将结果存储到sum_yr_1_not_null表

4、丢弃平均折扣率为0.0的记录，将结果存储到avg_discount_not_0表

5、丢弃票价为0、平均折扣率不为0、总飞行公里数大于0的记录，将结果存储到sum_0_seg_avg_not_0表

三、特征构造

原始数据中包含40多个特征，利用这些特征做些什么呢？我们又该从哪些角度出发呢？

3.1、常用客户价值分类模型

3.1.1、RFM模型介绍

本项目的目标是客户价值分析，即通过航空公司客户数据识别不同价值的客户，识别客户价值应用最广泛的模型是RFM模型。

R（Recency）指的是最近一次消费时间与截止时间的间隔。
F（Frequency）指顾客在某段时间内所消费的次数。
M（Monetary）指顾客在某段时间内所消费的金额

3.1.2、RFM模型结果解读

RFM模型包括三个特征，使用三维坐标系进行展示，如图所示。

X轴表示Recency，
Y轴表示Frequency，
Z轴表示Monetary，

每个轴一般会分成5级表示程度，1为最小，5为最大。

3.1.3、传统RFM模型在航空行业的缺陷

在RFM模型中，消费金额表示在一段时间内，客户购买该企业产品金额的总和，由于航空票价受到运输距离，舱位等级等多种因素影响，同样消费金额的不同旅客对航空公司的价值是不同的，因此这个特征并不适合用于航空公司的客户价值分析。

3.1.4、航空客户价值分析的LRFMC模型

本项目选择客户在一定时间内累积的飞行里程M和客户在一定时间内乘坐舱位所对应的折扣系数的平均值C两个特征代替消费金额。此外，航空公司会员入会时间的长短在一定程度上能够影响客户价值，所以在模型中增加客户关系长度L，作为区分客户的另一特征。
本项目将客户关系长度L，消费时间间隔R，消费频率F，飞行里程M和折扣系数的平均值C作为航空公司识别客户价值的关键特征（如表 3 2所示），记为LRFMC模型。