KDD2021-腾讯Apache Spark大规模网络嵌入
Posted 专知
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了KDD2021-腾讯Apache Spark大规模网络嵌入相关的知识，希望对你有一定的参考价值。
网络嵌入在社交推荐和网络分析中得到了广泛的应用，如推荐系统、图异常检测等。然而，以前的大多数方法不能有效地处理大型图，这是由于(i)图上的计算通常是昂贵的，(ii)图的大小或向量的中间结果可能是非常大的，导致要在一台机器上处理。本文利用Apache Spark提出了一种高效的大型图上网络嵌入的分布式算法，该算法将一个图递归地划分为若干个小的子图来捕获节点的内部和外部结构信息，然后并行计算每个子图的网络嵌入。最后，通过聚合所有子图上的输出，以线性代价得到节点的嵌入。在那之后，我们在各种实验中证明了我们提出的方法能够在几个小时内处理拥有数十亿条边的图，并且比最先进的方法至少快4倍。在链路预测和节点分类任务方面分别提高了4.25%和4.27%。最后，我们将所提出的算法应用于腾讯的两款网络游戏中，分别应用好友推荐和项目推荐，在运行时间上提高了竞争者高达91.11%，在相应的评价指标上提高了12.80%。
https://arxiv.org/abs/2106.10620
专知便捷查看
后台回复“NEAS” 就可以获取《【KDD2021-腾讯】Apache Spark大规模网络嵌入》专知下载链接
以上是关于KDD2021-腾讯Apache Spark大规模网络嵌入的主要内容，如果未能解决你的问题，请参考以下文章
使用R和Apache Spark处理大规模数据 [session]
应用在大规模推荐系统，Facebook提出组合embedding方法 | KDD 2020
CVE-2022-33891 Apache spark shell 命令注入漏洞复现
带有原生Kubernetes支持的Apache Spark 2.3