每日一读Unsupervised Differentiable Multi-aspect Network Embedding

Posted 2022-11-27 海轰Pro

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了每日一读Unsupervised Differentiable Multi-aspect Network Embedding相关的知识，希望对你有一定的参考价值。

简介

Hello！
非常感谢您阅读海轰的文章，倘若文中有错误的地方，欢迎您指出～

ଘ(੭ˊᵕˋ)੭
昵称：海轰
标签：程序猿｜C++选手｜学生
简介：因C语言结识编程，随后转入计算机专业，获得过国家奖学金，有幸在竞赛中拿过一些国奖、省奖…已保研
学习经验：扎实基础 + 多做笔记 + 多敲代码 + 多思考 + 学好英语！

唯有努力💪

【每日一读】每天浅读一篇论文，了解专业前沿知识，培养阅读习惯（阅读记录仅供参考）

论文简介

原文链接：https://dl.acm.org/doi/10.1145/3394486.3403196

会议：KDD '20: Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining （CCF A类）

年度：20 August 2020（发表日期）

ABSTRACT

网络嵌入是一种有影响力的图挖掘技术，用于将图中的节点表示为分布式向量。然而，大多数网络嵌入方法都专注于为每个节点学习单个向量表示，这最近因无法对节点的多个方面进行建模而受到批评。

为了捕捉每个节点的多个方面，现有研究主要依赖于在实际嵌入之前执行的线图聚类，这导致每个节点的集群成员（即节点方面分布）在整个嵌入模型的训练过程中都是固定的。

我们认为，这不仅使每个节点无论其动态上下文如何都始终具有相同的方面分布，而且还阻碍了模型的端到端训练，最终导致最终的嵌入质量在很大程度上取决于聚类。

在本文中，我们提出了一种用于多方面网络嵌入的新型端到端框架，称为 asp2vec，其中每个节点的方面是根据其本地上下文动态分配的。更准确地说，在多个方面中，我们根据每个节点的当前上下文动态地为每个节点分配一个方面，并且我们的方面选择模块是通过 Gumbel-Softmax 技巧端到端可区分的。我们还引入了方面正则化框架来捕捉多个方面之间在相关性和多样性方面的相互作用。

我们进一步证明我们提出的框架可以很容易地扩展到异构网络。在各种类型的同构网络和异构网络上对各种下游任务进行的广泛实验证明了 asp2vec 的优越性。

1 INTRODUCTION

网络构成了表示现实世界关系数据的自然范式，其中包含实体之间的各种关系，从用户的在线社交网络、作者的学术出版网络到物理世界中的蛋白质-蛋白质相互作用 (PPI) 网络。由于网络的普遍性，从网络中分析和挖掘有用的知识在过去的几十年里一直是一个活跃的研究课题。在用于网络分析的各种工具中，学习网络中节点的连续向量表示的网络嵌入最近引起了人们的关注，并已有效且高效地应用于各种基于网络的下游应用，例如节点分类 [5, 15, 18] 和链接预测 [1, 6]。

网络嵌入方法的一个常见基本思想是节点嵌入向量应该能够保留节点的邻域结构，即局部结构特征。 Deepwalk [20] 是一种开创性的方法，它利用节点共现信息来学习网络中节点的表示，使得经常同时出现的节点具有相似的向量表示 [8]。具体来说，基于共现的方法通常在网络上执行随机游走以获得应用skip-gram [17]模型的节点序列。然而，过去对网络嵌入的研究大多假设每个节点都存在单个向量表示，而实际上一个节点通常具有多个方面。例如，学术出版物网络中的节点（例如作者）通常属于多个研究社区，因此使用单个向量对每个节点进行建模会导致信息丢失。

在这方面，最近已经进行了几次尝试，通过学习每个节点的多个向量表示来对节点的多个方面进行建模[6,15,28]。但是，仍然存在一些限制。首先，节点的方面是基于预先执行的离线聚类算法确定的（图 1a）。特别是，为了确定节点方面，PolyDW [15] 基于矩阵分解 (MF) 对邻接矩阵执行聚类，类似地，Splitter [6] 执行基于自我网络分析的局部聚类算法，该算法编码不同地方社区的一个节点。然而，由于聚类是在实际嵌入学习之前完成的，因此每个节点的集群成员分布（即方面分布）是固定的，这导致每个节点始终具有相同的方面分布，而不管其当前上下文如何。这对于基于共现的网络嵌入方法来说尤其成问题，因为节点的上下文会随着多次随机游走而动态变化。此外，由于离线聚类，嵌入方法无法以端到端的方式进行训练，最终导致最终的嵌入质量在很大程度上取决于聚类。

另一个限制是没有明确捕获方面之间的交互。虽然方面之间的交互是通过每个节点的集群成员隐含地揭示的，但它仅用于对节点方面进行采样[6]，而不是直接用于训练方面嵌入向量。回到我们的学术出版网络的例子，作者可以属于多个研究社区，这些社区相互影响。 例如，数据挖掘 (DM) 和数据库 (DB) 社区比数据挖掘和计算机体系结构 (CA) 社区更相关，因此这样的交互（即相关性：DM ↔ DB 和多样性：DM ↔ CA ) 应该被捕获。此外，从更广泛的角度来看这些方面，我们认为方面之间的交互根据网络的固有特征而有所不同。例如，与 PPI 网络中的节点相比，学术出版物网络中的节点往往属于较少数量的社区（即，方面本质上不太多样化）。这是因为学术出版物网络中的普通作者通常只从事有限数量的研究主题，而 PPI 网络中的每个蛋白质都与各种功能相关联并参与各种相互作用。因此，建模方面之间的交互是具有挑战性的，因此应该以系统的方式完成，而不是通过聚类隐含地完成。

鉴于这些问题，我们提出了 asp2vec，一种用于多方面网络嵌入的新型端到端框架。

核心思想是根据其本地上下文为每个节点动态分配方面，如图 1b 所示（第 4.1 节）。

更准确地说，我们基于我们假设每个节点在特定本地上下文下应该属于单个方面的假设，有选择地为每个节点分配（采样）单个方面。

例如，即使是具有不同研究领域、属于多个研究社区（即多个方面）的作者，在与特定人群（即当地背景下的单个方面）合作时，也会专注于单个研究主题。我们通过基于 Gumbel-Softmax 技巧 [12] 设计方面选择模块来实现这一想法，该模块以可微分的方式从分类分布中近似采样，从而实现端到端的训练过程（第 4.2 节）。此外，我们引入了方面正则化框架，以同时捕获方面之间在相关性和多样性方面的相互作用和关系（第 4.3 节）。最后，我们证明我们提出的框架可以很容易地扩展到其节点和边是多类型的异构网络（第 4.5 节）。通过我们对 13 个真实世界数据集（包括各种类型的同构网络和异构网络）的广泛实验，我们证明了 asp2vec 在包括链接预测和作者识别在内的多个下游任务中的有效性，与最先进的多方面的网络嵌入方法。 asp2vec的源码可以在https://github.com/pcy1302/asp2vec/找到。

2 RELATED WORK

网络嵌入。网络嵌入方法旨在学习图中节点的低维向量表示，同时保留网络结构 [8, 20] 以及各种其他属性，例如节点属性 [18] 和结构角色 [22]。更准确地说，受 word2vec [17] 的启发，DeepWalk [20] 和 node2vec [8] 在图上执行截断随机游走以获得多个节点序列，然后通过在随机游走序列之间进行类比来执行 skip-gram 来学习节点嵌入。自然语言中的网络和句子。在另一项研究中，图神经网络 (GNN) [30] 最近引起了广泛关注。他们的主要思想是通过聚合来自其邻域的信息来表示一个节点 [13, 26]。然而，它们的性能在很大程度上取决于可用的节点标签 [9、13、16]，而我们提出的框架是完全无监督的。最近，Velivckovic 等人 [27] 提出了一种基于 GNN 的无监督网络嵌入方法，称为 DGI，它最大化了图的全局表示与其局部块之间的互信息，即节点嵌入。 然而，虽然随机游走自然地捕获高阶结构信息并允许表征网络中的不同节点上下文，但 GNN 的性能会随着卷积层数量的增加而退化 [14]。此外，与基于随机游走的算法 [5] 不同，GNN 在没有复杂设计的情况下无法轻松应用于异构网络 [18, 23]。

多方面网络嵌入。虽然大多数网络嵌入方法专注于为每个节点学习单个嵌入向量，但最近提出了几种方法 [6、15、16、25、28、31] 来学习图中每个节点的多个嵌入向量。

更准确地说，PolyDW [15] 执行基于 MF 的聚类以确定每个节点的方面分布。然后，给定图上的随机游走序列，目标和上下文节点的aspect根据aspect分布独立采样，因此目标和上下文节点可能具有不同的aspect。
此外，虽然捕获局部邻域结构 [31] 对于基于共现的网络嵌入方法更为重要，但 PolyDW 利用了专注于捕获全局结构的聚类。Splitter [6] 执行局部聚类以将每个节点拆分为多方面表示，但是，它盲目地训练所有方面嵌入向量以接近原始节点嵌入向量，而不是考虑目标节点的方面。
MCNE [28] 引入了一个二进制掩码层将单个向量拆分为多个条件嵌入，但是，方面的数量应在数据集中定义（例如，不同类型的用户行为的数量）。此外，它将项目推荐任务形式化为监督任务，并将网络嵌入方法与 BPR [21] 相结合，而我们提出的框架以完全无监督的方式进行训练，具有任意数量的方面。
MNE [31] 基于 MF 训练多方面节点嵌入，同时考虑方面嵌入的多样性。然而，方面选择过程被忽略了，方面嵌入被简单地训练为彼此尽可能不同，而不保留它们之间的任何相关性。

异构网络嵌入。异构网络 (HetNet) 包含多类型节点和多类型边，其建模方式应与同类网络不同，并且已经有一系列关于异构网络嵌入的研究 [5、7、11]。

具体来说，metapath2vec [5] 通过引入一个以元路径为条件的随机游走方案扩展了 Deepwalk，其中节点嵌入是通过异构跳过语法学习的。虽然已经提出了各种单方面嵌入方法，但多方面网络嵌入仍处于起步阶段。
更准确地说，一项工作 [3, 24] 通常将节点投影到由多个方面定义的多个嵌入空间中，并且在每个空间上训练节点嵌入。然而，这些方法基于应该预先定义其真实标签的边来定义方面（例如，“Obama”和“Honolulu”之间的边被标记为“was_born_in”），但在现实中并非总是如此.
最后，TaPEm [19] 引入了对嵌入框架，该框架直接对不同类型的两个节点之间的关系进行建模，但每个节点仍然有一个嵌入向量。
此外，尽管 GNN 最近也被应用于 HetNet，但它们要么是半监督方法 [29]，要么不能应用于节点和边都是多类型的真正 HetNet [18]。

3 PRELIMINARY

基于随机游走的无监督网络嵌入。受深度学习方法最近进步的启发，尤其是基于 skip-gram 的 word2vec [17]，以前的网络表示学习方法 [8, 20] 开始将图中的节点视为文档中的单词。更准确地说，这些方法通常在图上执行一组截断的随机游走 W，这类似于单词序列，即句子。然后，通过优化skip-gram目标来学习每个节点的表示，即最大化给定目标节点的上下文的可能性：

其中 Pi ∈ Rd 是节点 vi 的目标嵌入向量，Qj ∈ Rdis 是节点 vj 的上下文嵌入向量，d 是嵌入维数，<a, b> 表示 a 和 b 之间的点积，w 是节点序列, N (vi ) 表示节点 vi 的上下文窗口内的节点。节点 vi 的最终嵌入向量通常通过对其目标和上下文嵌入向量进行平均来获得。即 (Pi + Qi)/2。通过最大化上述方程。如图 1 所示，在上下文窗口中经常一起出现的节点将被训练为具有相似的嵌入。尽管它在学习节点表示方面很有效，但它固有地受到每个节点由单个嵌入向量表示的限制。

3.1 Problem Statement

定义 3.1。（多方面节点表示学习）给定一个图 G = (V, E)，其中 V = v1, v2, …, vn 表示节点的集合，E = ei, j n i, j表示边的集合，其中，j 连接 vi 和 vj，我们的目标是为每个节点 vi 导出多方面嵌入矩阵 Qi ∈ RK ×d，其中 K 是任意预定义的方面数。更准确地说，每个方面嵌入向量 Q(s)i ∈ Rd K s=1 应该 1) 保留网络结构信息，2) 捕获节点 vi 的不同方面，以及 3) 对方面之间的交互进行建模（即，相关性和多样性）。

4 PROPOSED FRAMEWORK: ASP2VEC

我们提出了我们提出的基于上下文的多方面网络嵌入框架（第 4.1 节），其中包括方面选择模块（第 4.2 节）和方面正则化框架（第 4.3 节）。然后，我们演示了如何将 asp2vec 进一步扩展到异构网络（第 4.5 节）。图 2 总结了我们提出的框架的整体架构，称为 asp2vec。

4.1 Context–based Multi–aspect Network Embedding

给定一个目标节点及其本地上下文，其核心思想是首先根据其本地上下文确定目标节点的当前方面，然后针对目标节点的选定方面预测上下文节点。更准确地说，给定一个目标节点嵌入向量 Pi ∈ Rd ，以及它当前选择的方面δ (vi ) ∈ 1, 2, …, K ，我们的目标是预测其关于选定方面 δ 的上下文嵌入向量(六)。即，Q(δ (vi ))j |vj ∈ N (vi )。形式上，对于每个随机游走序列 w ∈ W，我们的目标是最大化以下目标：

其中 Q(s)j ∈ Rd 是节点 vj 在方面 s 方面的嵌入向量，p(δ (vi ) = s) 表示 vi 被选择属于方面 s 的概率，其中 ÕK s=1 p (δ (vi ) = s) = 1, and p(vj |vi , p(δ (vi ) = s)) 表示给定一个目标节点vi，其aspect是s，上下文节点vj的概率。请注意，这与直接最大化其上下文节点的概率相反，而不管目标节点的方面如何，如方程式。 1.

4.2 Determining the Aspect of the Center Node

接下来，我们介绍计算方面选择概率 p(δ (vi )) 的方面选择模块。在这里，我们假设每个目标节点 vi 的方面可以很容易地通过检查其本地上下文 N (vi ) 来确定。即，p(δ (vi )) ≡ p(δ (vi )|N (vi ))。更准确地说，我们应用 softmax 来模拟 vi 方面的概率：

我们利用读出函数 Readout(s) : R| N(vi ) |×d →Rd 总结在 nodevi 的本地上下文中编码的信息，即 N (vi )，关于方面 s

4.2.1 Gumbel-Somax based Aspect Selection

请注意，基于 softmax（等式 3）对方面选择概率 p(δ (vi )) 进行建模会在方面的数量 K 上分配一个概率分布，该概率分布是连续的。然而，我们认为虽然一个节点在全局角度可能同时属于多个方面，但它应该在本地上下文中分配给单个方面。例如，即使是拥有不同研究领域、属于多个研究社区的作者，在与特定人群合作时也会专注于单一研究主题。换句话说，方面的选择应该基于 K 个方面的分类分布以离散的方式进行。即，硬选择。然而，由于硬选择是一个不可微分的操作，它阻止了梯度向下到嵌入向量的流动，并阻止了端到端的反向传播优化。作为一种解决方法，我们采用了 Gumbel-Softmax 技巧 [12]，它通过相对于分布参数重新参数化梯度来逼近分类分布的采样。更准确地说，给定具有类概率 π1, π2, …, πK 的 K 维分类分布，gumbel-max 技巧提供了一种简单的方法来从分类分布如下：

其中 gi 是从 Gumbel(0,1) 分布中提取的 gumbel 噪声，可以通过以下方式获得：

由于方程式中 argmax(·) 运算的不可微分性质。 4，我们通过使用softmax进一步近似它以确保可微性如下，这被称为Gumbel-Softmax技巧[12]：

其中 τ 是温度参数，用于控制输出接近 argmax(·) 操作的程度：随着 τ → 0，来自 Gumbel-Softmax 分布的样本变为 one-hot。最后，替换 Eqn 中的 softmax。 3 与方程式中的 Gumbel-Softmax。 6、

我们得到以下方面选择概率：

结合方程式中描述的所有游走 w ∈ W 的损失。 2，给出学习基于上下文的多方面节点表示的最小化目标b

4.2.2 Readout Function

回想一下，我们期望Readout(s)(N (vi )) 的输出通过利用其本地上下文信息N (vi ) 来捕获目标节点vi 的当前方面s。在 Readout(·) 的各种选择中，我们选择平均池化操作：

值得注意的是，由于其简单性和效率，我们选择平均池而不是更先进的技术，这些技术为每个上下文节点分配不同的权重，例如基于循环神经网络或基于注意力的池 [33]。

讨论。如果每个节点都与一些属性信息相关联，那么确定每个节点的方面可能比仅仅依靠最初学习的上下文节点嵌入来保留图结构更直观。在这方面，我们在 Sec 进行研究。 4.5.2 给定节点属性时如何对切面建模。

4.3 Modeling Relationship Among Aspects

由于不同的方面嵌入旨在捕获每个节点的不同语义，因此它们之间应该主要是充分多样化的。然而，与此同时，这些方面在一定程度上也存在着内在的联系。

例如，在学术出版网络中，每个节点（即作者）可能属于各种研究社区（即方面），例如 DM、CA 和 DB 社区。在这个示例场景中，我们可以很容易地看出 DM 和 DB 社区比 DM 和 CA 社区更相关，这表明建模方面之间的交互的重要性。简而言之，方面嵌入不仅应该是 1) 多样化的（例如，DM↔CA）以独立捕获各个方面的固有属性，而且还应该是 2）在某种程度上彼此相关（例如，DM↔DB），以便以捕获方面之间共享的一些共同信息。

为此，我们引入了一种新颖的方面正则化框架，称为 regasp，由下式给出：

其中 Q(i) ∗ ∈ Rn×d 是关于所有节点 v ∈ V 的方面 i 方面的方面嵌入矩阵； |V | = n，A-Sim(·,·) 衡量两个方面嵌入矩阵之间的相似度得分：largeA-Sim(Q(i) ∗ , Q(j) ∗ ) 是指共享一些信息的两个方面，而small A-Sim(Q(i) ∗ , Q(j) ∗ ) 表示方面 i 和方面 j 捕获截然不同的属性。方面相似度得分 A-Sim(Q(i) ∗ , Q(j) ∗ ) 由每个节点的方面嵌入之间的相似度得分之和计算得出：

其中 Q(i)h ∈ Rd 是节点 vh 在方面 i 方面的嵌入向量，f (Q(i)h , Q(j)h ) 表示方面 i 和嵌入之间的方面相似度得分 (ASS) j 相对于节点 vh 。通过最小化 Eqn 中的 regasp。 10，我们的目标是学习捕捉每个方面固有属性的不同方面嵌入。在这项工作中，我们根据下式给出的两个方面嵌入向量之间的余弦相似度来评估 ASS：

然而，如前所述，aspect embeddings 不仅应该是多样化的，而且应该在某种程度上彼此相关（例如，DM↔DB）。换句话说，由于这些方面并不完全相互独立，我们应该对它们的交互进行建模。为此，我们引入了一个二元掩码 wh i, j 来根据它们的 ASS [2] 选择性地惩罚方面嵌入对。更准确地说，二进制掩码定义为：

其中 ε 是一个阈值参数，用于控制给定节点的一对方面嵌入向量之间共享的信息量：大 ε 鼓励方面嵌入相互关联，而小 ε 鼓励不同方面嵌入。具体来说，对于给定的节点 vh ，如果方面 i 和 j 的方面嵌入向量之间的 ASS 的绝对值，即 f (Q(i)h , Q(j)h ) 大于 ε，那么我们想惩罚，否则接受。换句话说，我们允许节点的两个方面嵌入向量在某种程度上彼此相似（与 ε 一样多）。通过这样做，我们期望方面嵌入足够多样化，但同时共享一些共同的信息。

请注意，方面正则化框架对于具有不同方面的网络更有效。例如，与学术网络中的作者相比，社交网络中的用户往往属于多个（多样化）社区，因为作者通常从事有限数量的研究主题。因此，由于方面正则化框架鼓励方面嵌入是多样化的，因此预计它在社交网络中比在学术网络中更有效。我们稍后证明确实如此，这意味着 asp2vec 也可以揭示网络的隐藏特征。我们通过取余弦相似度的绝对值来考虑正相似度和负相似度，即 | f (·,·)|，因为负相似性仍然意味着这两个方面在语义上相关但方向相反。

配备方程式中定义的二进制掩码。 13，方程式。 11变成：

最终的目标函数是联合最小化方程式中基于上下文的多方面网络嵌入损失 Lasp2vec。 8，以及等式中的方面正则化损失 regasp。 10：

其中 λ 是方面正则化的系数

关于参数数量的讨论。我们提出的框架的另一个吸引力是它在参数数量相对有限的情况下具有卓越的性能。更准确地说，PolyDW [15] 是最相关的竞争对手之一，除了离线聚类方法所需的参数外，还需要 2|V|dK 参数用于节点嵌入（|V|dK 分别用于目标和上下文） .即矩阵分解，它需要另一个 2|V |d，因此总共需要 2|V |d(K +1)。此外，Splitter [6] 需要 |V |d(K +2) 用于节点嵌入（2|V |d 用于 Deepwalk 参数，|V |dK 用于角色嵌入），以及用于局部和全局聚类的附加参数。另一方面，我们提出的框架只需要 |V |d(K +1) 用于节点嵌入（|V |d 用于目标，|V |dK 用于上下文）而无需额外的聚类参数。因此，我们认为 asp2vec 在参数较少的情况下优于最先进的多方面网络嵌入方法。

4.4 Task: Link Prediction

为了评估我们框架的性能，我们执行链接预测，即预测两个节点之间的链接强度。链接预测是评估多方面网络嵌入方法的最佳选择，因为方面嵌入最初旨在捕获节点之间的各种交互，例如网络内多个社区的成员资格，这最好通过连接信息来揭示。此外，与涉及可能与图本身不相关的标记过程的节点分类相比，最近的工作建议将链接预测作为无监督网络嵌入方法的主要评估任务 [1, 6]。

回想一下，在我们提出的框架中，节点 vi 有一个中心嵌入向量 Pi ∈ Rd 和 K 个不同的方面嵌入向量 Q(s)i ∈ Rd K s=1，总共有 K + 1 个嵌入向量对于每个节点。为了获得节点 vi 的最终嵌入向量，我们首先计算方面嵌入向量的平均值，并将其添加到中心嵌入向量：

其中 Ui ∈ Rd 是节点 vi 的最终嵌入向量。请注意，在以前的工作 [6, 15] 中为每个节点学习多个嵌入向量，最终链接预测是通过计算所有可能的方面嵌入向量对之间的余弦相似度的总和 [15] 或最大值 [6] 来完成的.两者都需要 O(|V |2K2) 点积运算来计算所有节点对之间的链接概率，这非常耗时。在这项工作中，我们简单地使用最终嵌入向量 Ui，任何现成的分类算法（例如逻辑回归）都在该向量上进行训练，以促进在现实世界中的更多实际使用。

4.5 Extension to Heterogeneous Network

迄今为止，我们描述了我们为具有单一类型节点和单一类型边的网络学习基于上下文的多方面节点表示的方法。即同构网络。在本节中，我们展示了我们提出的多方面网络嵌入框架 asp2vec 可以很容易地扩展以学习 HetNet 中节点的表示。请注意，PolyDW [15] 也显示了它对 HetNet 的可扩展性。但是，它仅限于没有节点属性信息的二分网络，而 asp2vec 可以扩展到任何类型的具有节点属性信息的 HetNet。

回想一下，在 Sec。 4.4 我们将主要任务定义为链接预测。在这方面，在 HetNet 中可以定义的各种链接预测任务中，例如推荐 [10]（即用户项目）和作者识别（即论文作者），我们特别关注大学术数据中的作者识别任务，其任务是预测匿名论文的真实作者[4,19,32]，即论文类型节点和作者类型节点之间的链接概率。请注意，假设每篇论文都与其内容信息相关联。即抽象文本。

4.5.1 Context–based Multi–aspect Heterogeneous Network Embedding.

首先，我们首先执行元路径引导的随机游走 [5] 以生成节点序列，这是截断随机游走 [8、20] 到 HetNet 的扩展。更准确地说，随机游走以元路径 P [5] 为条件，元路径 P [5] 是包含某种语义的关系的组合。图 3 显示了一个示例元路径“Author-Paper-Author (APA)”，它引用了共同作者关系。在生成一组由元路径 P 引导的随机游走 WP 之后，我们的目标是在给定类似于 Eqn 的目标节点的情况下最大化上下文节点的概率。 2. 然而，与前一种情况不同，walk w ∈ WP 现在包含多种类型的节点。因此，我们通过修改 Eqn 来提出 asp2vec-het。 2 引入异质性如下：

其中 TV 表示节点类型的集合（例如，作者、论文和地点），Nt (vi ) 表示节点 vi 的类型为 t 的上下文节点。

为了将 asp2vec 应用到 HetNet，我们需要考虑以下两种情况并对其进行不同的建模：1）情况 1：目标节点的方面未知，因此应该推断，以及 2）情况 2：目标节点已经显示，因此无需推断其方面。具体来说，以元路径 APA 引导的随机游走为例（图 3），情况 1 是目标节点是作者时，情况 2 是目标节点是纸张时。具体来说，在图 3b 所示的案例 2 中，我们认为可以通过查看其内容（即文本）轻松推断论文的方面（即主题），而在图 3a 所示的案例 1 中，仍应从其上下文中推断出作者。因此，案例 1 应该由我们在方程式中的 asp2vec-het 框架建模。 17，而case 2可以通过之前的single aspect embedding方法简单建模，比如metapath2vec[5]如下：

最终的目标函数是联合优化 Eqn。 17（案例 1）和方程式。除了等式中的方面正则化框架之外，还有图 18（案例 2）。 10 如下：

其中 S§ 表示所有预定义的元路径方案。

请注意，尽管为了便于解释，我们在作者标识中专门描述了该场景，但 asp2vec-het 可以轻松应用于其他任务，例如推荐，其中任务是推断用户-项目成对关系。

4.5.2 Determining node aspect in a HetNet

回想一下，在 Sec。 4.2，给定一个同构网络，我们根据其上下文节点确定目标节点的方面。在 HetNet 中，可以类似地确定节点方面，但是，我们应该考虑上下文节点之间节点类型的异质性。换句话说，在确定目标节点的方面方面，某些节点类型可能比其他节点类型更有帮助。例如，对于图 3 中的目标节点“author”，类型为“paper”的上下文节点比另一个 author-typed 节点更有帮助，因为一篇论文通常是关于单个主题的，而作者可以从事各种不同的工作。研究领域。此外，重要的是要注意，如果提供节点属性信息，例如论文的内容，则确定目标节点的方面变得更加简单。在这方面，我们利用论文摘要信息来获得论文嵌入向量，并且仅依靠论文节点来确定目标作者节点的方面。具体来说，我们使用 [32] 中引入的基于 GRU 的论文编码器，它采用摘要的预训练词向量，并返回对论文内容进行编码的单个向量。有关详细信息，请参阅 [32] 的第 3.1 节。