大数据 电信客服项目

Posted 2022-04-14 lxl616

1.项目背景

 

　　通信运营商每时每刻会产生大量的通信数据，例如通话记录，短信记录，彩信记录，

第三方服务资费等等繁多信息。数据量如此巨大，除了要满足用户的实时查询和展示之外，

还需要定时定期的对已有数据进行离线的分析处理。例如，当日话单，月度话单，季度话单，

年度话单，通话详情，通话记录等等+。我们以此为背景，寻找一个切入点，学习其中的方法论。

当前我们的需求是：统计每天、每月以及每年的每个人的通话次数及时长。

 

 

2.项目架构

 

 

 

 

 

 

3.项目实现

 

系统环境：

表1

系统	版本
windows	10 专业版
linux	CentOS 6.8

 

 

 

开发工具：

表2

工具	版本
idea	2017.2.5旗舰版
maven	3.3.9
JDK	1.8+

提示：idea2017.2.5必须使用maven3.3.9，不要使用maven3.5，有部分兼容性问题

 

 

 

集群环境：

表3

框架	版本
hadoop	2.7.2
zookeeper	3.4.10
hbase	1.3.1
flume	1.7.0
kafka	2.11-0.11.0.0

 

 

硬件环境：

表4

	hadoop102	hadoop103	hadoop104
内存	4G	2G	2G
CPU	2核	1核	1核
硬盘	50G	50G	50G

 

 

3.1 数据生产

 

　　此情此景，对于该模块的业务，即数据生产过程，一般并不会让你来进行操作，

数据生产是一套完整且严密的体系，这样可以保证数据的鲁棒性。但是如果涉及到

项目的一体化方案的设计（数据的产生、存储、分析、展示），则必须清楚每一个

环节是如何处理的，包括其中每个环境可能隐藏的问题；数据结构，数据内容可能出现的问题。

 

3.1.1 数据结构

 

　　我们将在HBase中存储两个电话号码，以及通话建立的时间和通话持续时间，

最后再加上一个flag作为判断第一个电话号码是否为主叫。

姓名字段的存储我们可以放置于另外一张表做关联查询，当然也可以插入到当前表中。

 

表5

列名	解释	举例
call1	第一个手机号码	15369468720
call1_name	第一个手机号码人姓名(非必须)	李雁
call2	第二个手机号码	19920860202
call2_name	第二个手机号码人姓名(非必须)	卫艺
date_time	建立通话的时间	20171017081520
date_time_ts	建立通话的时间（时间戳形式）
duration	通话持续时间（秒）	0600

 

 

 

3.1.2 编写代码

思路：

a) 创建Java集合类存放模拟的电话号码和联系人；

b) 随机选取两个手机号码当作“主叫”与“被叫”（注意判断两个手机号不能重复），产出call1与call2字段数据；

c) 创建随机生成通话建立时间的方法，可指定随机范围，最后生成通话建立时间，产出date_time字段数据；

d) 随机一个通话时长，单位：秒，产出duration字段数据；

e)、将产出的一条数据拼接封装到一个字符串中；

f)、使用IO操作将产出的一条通话数据写入到本地文件中;

新建module项目：ct_producer