百分点基于分布式架构的大数据商业建模实践

Posted 2021-04-14 百分点

百分点基于分布式架构的大数据商业建模实践

百分点大数据技术沙龙之三

2015年6月12、13日，百分点大数据技术沙龙：基于分布式架构的大数据商业建模实践分别在杭州和深圳举行，百分点数据科学与研究部负责人杜晓梦博士和BI咨询经理Ann分享了百分点在此领域的实践和案例。共有涵盖电商、金融、电信、移动互联网等10多个行业、300多位与大数据技术、产品、市场相关的人员参加本次活动。

大数据将掀起一场管理革命，比之前的“数据分析”要强大得多。对实时或者近乎实时的信息进行数据建模、挖掘和分析，能让一家公司拥有敏锐的洞察力，进而获得极大的竞争优势。但与此同时，建模人员需要考虑的不再只是业务需求和模型设计本身。在大数据时代，建模成为了一个体系问题，需要从业务需求层到模型层、及从大数据分析工具到数据管理进行综合考虑。

下图为百分点大数据商业模型建模技术架构图：

以个性化定价为例。首先建模人员要考虑如何解决企业的这个业务需求，也即，在哪些消费者的触点上可以收集到相关的数据；其次是考虑使用什么样的模型和算法。例如，实现个性化定价，需要用到分类的算法和消费者支付意愿预测的建模，还需要结合统筹学和最优化模型。

模型算法之后是对各种大数据分析工具的优劣的考量。例如，Python在处理大规模数据、数据清洗上具有较大的优势，而R在一些深入的统计、计量模型上有较成熟的包。选择分析工具必须顾及到与底层数据仓库的接口。假如决定了用R来做分析，那么，是采用Rhadoop还是SparkR？

由于海量数据的实时建模需要以分布式架构为基础的底层数据管理来进行支撑，大数据建模的重中之重就在于建模人员是否有能力将分析工具与不同的底层数据库结合起来，通过交互接口调取数据进行模型开发。下图展示了以R分析工具为例，R与不同数据仓库交互的方式。由此可见，在大数据时代，建模已经不仅仅是简单的单机跑个R程序就能解决的问题了，需要真正懂得如何利用R和不同的大数据管理平台进行交互。

面临大数据时代的挑战，建模人员需要用跨学科的知识来武装自己。不仅要懂得算法和建模技术，要懂得统计和机器学习，还需要有数据工程的功底，能通过编写代码从不同的数据库提取数据。此外，还需要熟练运用不同的数据挖掘软件进行数据处理和建模。这样具备综合交叉学科背景的人才配得起大数据时代分析师---数据科学家的称号。

同时具备上述各领域才能的数据科学家是很难得的。在百分点公司，我们通过团队协作来解决这一问题。百分点的商业建模团队是一支综合了以上各领域专业知识人才的团队。在进行数据挖掘和商业建模的工作时，首先，我们的BI分析师会详细了解客户的业务场景，设计出模型应满足的业务需求；其次，建模工程师会进行算法和模型的设计，并进行分析工具的选型；接着我们的数据工程师会根据模型需要，从不同的数据管理平台上整合出碎片化的数据，进行清洗，以满足建模工程师的需求。当然，这一切都建立在数据管理工程师对于底层数据存储架构的维护上。

百分点基于完整的大数据建模技术架构，开发设计出一系列的商业模型，帮助企业更精准的把握用户偏好和优化经营策略。其中，已经在众多行业龙头型企业里实际使用的“大数据商业建模平台---客户经营版”，围绕企业客户的全生命周期，从客户考察期的客户细分模型，到客户形成期的客户价值模型、客户忠诚度识别模型，再到客户成熟期的客户群体扩散模型、社会网络分析模型，到客户衰退期的流失预警模型，满足需要进行用户/会员经营的零售行业、品牌制造业等多行业的需求，解决了不同行业在大数据时代进行用户/会员管理的业务问题。与此同时，百分点还在积极开发面向行业的大数据商业模型平台，包括金融行业的风险预测建模、零售行业的定价模型、汽车行业的联合分析模型等行业专属模型，以适应不同行业的独特定制化业务需求。

从联机分析，到数据挖掘，到商务智能，再到大数据建模，时代在进步，技术在提高，竞争在加剧。从以产品为核心，到以消费者为核心，再到以数据为核心，企业在不断进化自己的能力，以跟上时代的变化。在数据极度碎片化的互联网+时代，企业如何整合多源异构的内外部数据，将海量数据进行广泛的交叉关联，并对打通的消费者数据进行建模和预测，以辅助自己的研发、销售、市场、运营等决策，已成为大数据时代决胜商场的关键。大数据驱动的决策使企业能够运筹帷幄，洞察瞬息万变的消费者需求，制胜于千里之外。而帮助企业用大数据时代的精良装备武装起来，在激烈的竞争中立于不败之地，正是百分点科技的核心价值所在。

“百分点大数据技术沙龙”致力于推动大数据技术的普及和分享，关注技术人员在研发中遇到的问题，搭建大数据业内前沿、核心和热门的技术交流平台。本次沙龙是第三期，第一期主题是“百分点大数据技术沙龙：推荐引擎进化论”，第二期主题是“管中窥豹：用大数据洞察用户”，欢迎参加“百分点大数据技术沙龙”！