AI为推荐系统“加料”， 实现个性化消费者服务

Posted 2021-05-01 NVIDIA英伟达

 

内容提要：如何打造全球一流的推荐系统？您需要将GPU加速的AI与古老的智慧相结合。ACM RecSys挑战赛获胜者分享了使用机器学习来实现个性化消费者服务的奥秘。

如果您想开发全球一流的推荐系统，全球专家团队的建议是将GPU加速的AI与古老的智慧相结合。

NVIDIA团队赢得了今年ACM RecSys挑战赛的冠军。这是一项年度竞赛，汇集业内500余名专家，包罗推荐系统相关的最新研究，这些推荐系统可横跨餐厅到房地产等众多领域，为消费者提供个性化建议。

团队在9月22日至26日的线上活动中介绍了参赛作品，其作品已作为开源代码提供。他们还与开发RAPIDS 和Merlin等NVIDIA产品的同事分享经验教训，以便客户能够享受他们的劳动成果。

GPU服务器赋力推荐系统

今年的竞赛由Twitter赞助，要求研究人员梳理包含1.46亿条推文的数据集，以预测用户会对哪些内容点赞、回复或转发。NVIDIA团队的研究工作领先于34个竞争对手，这在一定程度上要归功于采用4个NVIDIA V100 Tensor Core GPU的系统，该系统对数十万用户操作进行了分析。

他们的成果十分惊人。GPU加速软件在不到一分钟的时间内完成了工程设计，而这在CPU上需要将近一个小时的时间，速度提高了500倍。四组GPU加持的系统将AI模型的训练时间提升至采用CPU训练的120倍。与最初采用CPU相比，GPU使该团队交付端到端解决方案的速度提高了280倍。

“我们在功能工程方面实现了500倍的提速，这让我震惊不已，” Even Oldridge博士说道。在过去的一年中，他的机器学习团队人数增加了三倍，设计出了NVIDIA Merlin推荐系统框架。

与CPU相比，GPU和UCX等框架可提供高达500倍的加速。

竞赛激发出有关软件升级的想法

这项竞赛催生了有关数据转换的工作，这将使NVTabular的未来版本更加强大。NVTabular是一个Merlin库，可将Excel工作簿这样的表格作为推荐系统的基础，以简化新功能的工程设计。

“我们能够夺冠部分归功于我们能够快速制作原型。”获奖团队中的一位推荐系统专家Benedikt Schifferer说道。

Schifferer还将此归功于两个现有工具。DASK是一种开源调度工具，使团队能够将需要大量内存的工作分配到多GPU中。cuDF是NVIDIA RAPIDS加速数据科学框架的一部分，使该团队能够基于GPU运行常用的Pandas库。

“基于CPU运行Pandas在数据中搜索功能需要花费数小时，”团队中为数不多的数据科学家之一Chris Deotte说道，他凭借在比赛中的出色表现而获得了Kaggle大师的头衔。

“当我们将代码转换到RAPIDS时，就能在几分钟内实现对功能的探索。这就带来了巨大改观，我们能够搜索数百种功能并有所获，最终赢得了这场比赛。” Deotte说道，他是在所有四个Kaggle类别中都获得 “大师”头衔的两位参赛者之一。

推荐系统的更多增强功能正在开发进程中。例如，基于GPU的文本处理日后有望进一步完善，这对于推荐系统是一种重要的数据类型。

“灵光一现”锁定成功

Deotte赞扬了巴西的一位同事Gilberto Titericz，称他的深入洞察推动着团队前进。

“他追踪了Twitter粉丝随时间的变化，而事实证明，这一功能提升了我们的预测准确性，成效非常好。” Deotte说道。

“我看到一些变化与时间相关，便将其绘制下来，” Titericz说道，他连续两年被评为全球最顶尖的Kaggle大师。

“当我看到堪称完美的结果时，还以为是自己犯了错误，但是我抓住这个机会提交了它。令我惊讶的是，它在排行榜上的得分很高，可见我的直觉是正确的。” 他补充道。

最后，该团队综合了由Titericz、Schifferer和日本同事Kazuki Onodera设计的互补AI模型，它们全部基于XGBoost开发（一种非常适合推荐系统的算法）。

团队的几位成员也是Kaggle精英团队的成员，NVIDIA创始人兼首席执行官黄仁勋称其为KGMON，Pokemon的mon。该团队在过去四年中赢得了数十场比赛。

推荐系统在B2C领域日益受欢迎

对于许多团队成员而言，包括法国南部的团队负责人Jean-Francois Puget，这不只是一份朝九晚五的工作。

“比赛阶段，我们夜以继日，周末无休，立志成为全球第一。”Puget说道。在深度学习走向商业化的二十年前，他获得了机器学习博士学位。

如今，这项技术正在迅速传播。

今年的ACM RecSys包括来自亚马逊和Netflix等公司的三十多个论文分享和演讲，这些公司通过推荐系统，帮助人们找到喜爱的书籍和影片，促进这一领域的发展成熟。现在，各行各业的消费品公司也都开始采取行动，包括宜家和Etsy，它们将在今年的ACM RecSys上亮相。

“在过去的三四年中，业界注重更提供个性化的体验，真正了解用户的需求，” Schifferer说道。这是一个循环，“客户的选择会影响训练数据，因此一些公司每四小时就对AI模型进行一次训练，有些则表示他们会持续进行训练AI模型。”

这就是团队为何要努力创建像Merlin这样的框架，使推荐系统能够在GPU上轻松快速地大规模运行。NVIDIA获胜团队的其他成员还有来自德国的Christof Henkel、来自美国的Jiwei Liu和Bojan Tunguz，来自巴西的Gabriel De Souza Pereira Moreira，以及来自荷兰的Ahmet Erdem。

如需了解更多NVIDIA新闻动态，请点击下方“阅读原文”访问NVIDIA中国官方博客。

号外！GTC 中国线上大会现已开放注册，NVIDIA 诚邀您线上参与这一年度重磅 AI 与图形技术大会。扫描下方海报二维码获取大会更多详情。