大数据-基于Spark的机器学习-智能客户系统项目实战

Posted 2020-10-26

大数据-基于Spark的机器学习-智能客户系统项目实战

网盘地址：https://pan.baidu.com/s/19-U_XwIUZUENNgmz6VysMQ 密码: j288

备用地址（腾讯微云）：https://share.weiyun.com/90d4d9196a9d86c74aabe8df78cdc624 密码：uq2q3w

项目背景：
1、现在很多平台客户关系管理系统都是使用传统的CRM，所有的信息全靠手工录入，用户寻找上下游企业或者信息只能靠手工去查找并且标注。

2、大数据时代的到来，人工智能，云计算，先进的分析，用机器去替代人工的部分，从 2016 年趋势看，机器学习和人工智能 (AI) 将在未来几年内将会彻底改变 CRM。

因此我们对CRM进行了改造，主要有如下部分：
1、企业信息、商品信息来自互联网，机器学习去自动统计分析并且分类。
2、用户录入的商品信息和新从互联网爬来的商品信息全部通过机器学习计算的模型去分类。
3、机器学习自动计算企业和供求信息上下游。
4、机器学习每隔一段时间自动去优化计算模型。

整个项目基本思路是如何通过爬虫爬取大量数据放到Hbase，然后通过ETL工具初步转化筛选将数据存到mongodb，抽取mongodb的数据进行清洗处理算出模型放到hdfs。后续进来数据通过模型运算出数据的类型。项目系统主要包括前端+后端+机器学习，前端采用React Native，Native，后端采用Dubbo+Spring+java，机器学习采用Spark进行实现，本项目机器学习-spark代码运行在mesos上。