AI加持推荐系统 英特尔助力万事达卡智能服务变革

Posted 2021-05-01 在前线

助力企业在以数据为中心的时代进行转型升级，一直是英特尔践行创新应用的基准。

 

在不断演进的数字世界中，商业、工业、科学和娱乐领域涌现出各种打破常规的技术趋势，这给世界经济带来的影响越来越大。预计到2020年,全球2000强跨国公司中有半数公司的成功将取决于其打造的数字化增强型产品服务和体验的能力。而这些公司的数字收入将增长80%，究其背后原因，便是技术的进步和由此带来的新商业模式。

 

万事达卡（MasterCard）是全球领先的支付解决方案提供商，为了更好地为客户服务，MasterCard与英特尔合作，基于英特尔Analytics Zoo平台，将人工智能技术集成到其服务模型上，以此来满足企业对更加智能化服务的需求。

 

智能化推动商业模式创新

 

伴随着全球数字化转型的浪潮越来越大，企业对灵活计算、网络及存储的需求也急速增加。再向智能化迈进的过程中，企业的工作离不开可无缝扩展的基础设施，用以支持即时响应和多样化的性能要求。

 

面对数据生成和消费呈指数级增长、云规模计算快速扩展、5G网络方兴未艾以及高性能计算(HPC)和人工智能(AI)扩展到新用途等局面，当今的数据中心和网络迫切需要演进。这些需求推动了面向未来的现代化数据中心架构的发展,也推动了能够快速应变并扩展网络的出现。

 

越来越复杂的数据环境，让企业更加注重用人工智能技术加速业务模式的转型。Analytics Zoo将AI能力深度集成到平台中，为企业提供理想深度学习能力解决方案。

 

一般来说，利用深度学习技术，可以通过营销活动的有效性来推动更高的投资回报率。因此，企业可以着重于对消费者行为的敏锐洞察，根据客户的兴趣和喜好与客户进行连接。例如，如果商家提供优惠给购买潜力最高的消费者，那么商家的优惠是最有效的。

 

在金融行业中，利用深度学习技术可以构建用户商品倾向模型，它可以用来计算消费者在特定行业内从商家或零售商处购买的概率。该模型可以用于展示市场研究前景，或为相关金融产品或商业交易提供个性化建议。

 

一直以来，深度学习都在商业中扮演者重要角色，传统的机器学习算法也在以前的解决方案中起着至关重要的作用。然而，业界正在寻求一种更健壮的简化流程的解决方案，用于处理模型的复杂性，劳动密集的特征工程过程，以及更高的精度。近年来，人们提出了许多基于深度学习的神经推荐模型，以进一步提高营销活动的有效性。

 

AnalyticsZoo助力企业构建智能推荐系统

 

推荐系统（RS）是一种信息过滤工具，用于引导用户以个性化的方式从大量可能的选项中发现他们的偏好。它是为许多在线网站和移动应用程序推广销售和服务的关键工具。

 

万事达卡致力于建设满足客户体验的推荐系统，但在原来传统机器学习能力加持下，很难跟上不断爆发的数据量。基于此，MasterCard与英特尔合作，利用深度学习技术在Analytics Zoo开源平台和英特尔至强可扩展处理器打造全新的推荐系统模型。

 

由机器学习改为深度学习，最直观的表现就是性能上大幅提升。为了对比，双方进行了详细测试，以下为测试环境：

 

数据集（数据来自过去三年中从特定渠道收集的数据集）：

 

·   不同的合格消费者：675,000

·   用于基准的目标商家（优惠或广告系列）：2000

·   已知交易：14亿（原始数据53 GB）消费时间：12 - 24个月作为训练和1 - 2个月作为验证

 

生产环境Hadoop集群：

 

·   9个节点集群（3个主机主节点（HMN）节点，6个Hortonworks数据平台（HDP）节点），每个节点放在一个物理盒中

·   24个超级内核，384 GB内存，21 TB磁盘

·   Hadoop发行版本：Cloudera DistributedHadoop（CDH）5.12.1

·   Spark版本：2.2

·   Java *平台，标准版开发工具包（JDK *）1.8

 

基准库：

 

·   Analytics Zoo-bigdl_0.6.0-spark_2.2.0

·   Spark MLlib 2.2.0

 

方法选择：

 

· 对于传统的机器学习方法，选择Spark MLlib方法的交替最小二乘（ALS）模型

· 对于深度学习方法，基于最新的研究和行业实践，选择神经协同过滤（NCF）和宽深（WAD）模型作为推荐的两个候选模型。来自Analytics Zoo的Keras风格API也被用于用python和scala构建深度学习模型。

 

图为将年度学习模型与ALS模型进行比较

 

模型阐述：

 

神经协同过滤模型旨在作为开发推荐服务深度学习方法的指导，以捕捉用户和物品之间的非线性关系。由于存在大量未观察到的实例，NCF采用负抽样来减小训练数据量，显著提高了学习效率。传统的矩阵分解可以看作是NCF的一个特例。使用Analytics Zoo，用户可以轻松构建NCF模型，如图所示。

 

神经协同过滤（NCF）模型示例

 

宽深（WAD）模型中，宽分量是一个单层感知器，它是一个广义线性模型，深部分量是类似于NCF的多层感知器。

 

结合这两种学习技术，推荐系统可以捕获记忆和泛化。在这种情况下，Merchant ID和其他特性用于生成宽模型的交叉列。

 

宽深模型图

 

WAD模型使用Sparse Tensor，以及为稀疏数据计算明确设计的一些的层，例如Sparse Linear, Sparse Join Table等。AnalyticsZoo支持Data Frame和弹性分布式数据集（RDD）两种接口，用于数据准备和训练，为不同场景提供灵活性，允许Spark 1.5兼容到最新版本。

 

模型评估

 

利用Spark MLlib ALS的评价工具，NCF和WAD实现的推荐器用下列指标进行测量。

 

·  ROC曲线下面积（ROC AUG）

 

·  精确度与召回率曲线下面积（PR AUC）

 

·  精准度与召回率

 

·  每位客户排名前20位的精准度

 

为了与传统的矩阵分解算法相比，在SARS2.2.0上的ALS训练采用了相同的数据和优化参数。相比之下，深度学习模型比ALS模型有显著的改进，如下表所示。

 

 

英特尔至强可扩展处理器提供强大核心

 

AnalyticsZoo是基于英特尔开源的一个统一Analytics+AI平台，它将Spark、TensorFlow、Keras和BigDL程序无缝集成到一个整合的流水线中，通过英特尔® 至强® 可扩展处理器集群支持，可以将这些功能扩展到大型Apache Hadoop/Spark集群中，为企业提供更加强大的深度学习能力。

 

作为一个在Spark上本地运行的集成分析和人工智能平台，Analytics Zoo可以满足企业深度学习应用程序的标准要求。它能够分析存储在同一大数据集群上的大量数据，并将深度学习功能添加到现有的分析应用程序和机器学习流水线中，而不是重建。

 

AnalyticsZoo可以帮助企业利用现有的大数据集群和基础设施，实现合理的资源分配，负载管理和企业级监控。同时，由于Analytics Zoo是作为英特尔至强处理器上的标准Spark程序运行，因此部署或操作成本为零。此外，传统的机器学习（ML）方法要严重依赖于人机学习专家来优化模型，而Analytics Zoo提供了更多选项来找到一个最佳稳健的执行配置，可以自动进行模型优化。

 

AnalyticsZoo平台的实力，在于英特尔至强可扩展处理器提供的强大内核。

 

英特尔® 至强® 可扩展处理器专为数据中心现代化革新而设计，它能提高各种基础设施、企业应用及技术性计算应用的运行效率，进而改善总体拥有成本（TCO），提升用户的生产力。与上一代相比，基于英特尔® 至强® 可扩展平台构建的系统着力打造性能更强的敏捷服务和突破性功能。

 

值得一提的是，在全新一代英特尔® 至强® 可扩展处理器中，针对人工智能技术，英特尔做了多方面的系统增强，为人工智能提供了更广泛的通用平台。

 

借助英特尔® 至强® 可扩展平台，企业在推进各自数字计划时可以得到充分的能力支持，为功能强大的数据中心平台奠定坚实的基础，共同构建数字智能的全新时代。

在前线： zaiqianxian121 (←长按复制)

《在前线》是新兴的移动互联网媒体，不但拥有40多年的媒体运作经验，更拥有前瞻的思维模式。