顶会CIKM‘21论文解读：基于图神经网络的人类行为轨迹恢复模型

Posted 2021-09-23 华为云

摘要：本文是由华为云数据库创新Lab联合电子科技大学数据与智能实验室发表在顶会CIKM’21的文章，该文章提出首个克服人类移动轨迹数据中普遍存在的多层次周期性、周期偏移现象以及数据稀疏问题的轨迹恢复模型。

本文分享自华为云社区《CIKM'21 PeriodicMove论文解读》，作者：云数据库创新Lab。

导读

本文(PeriodicMove: shift-aware human mobility recovery with graph neural network)是由华为云数据库创新Lab联合电子科技大学数据与智能实验室发表在顶会CIKM’21的文章，该文章提出首个克服人类移动轨迹数据中普遍存在的多层次周期性、周期偏移现象以及数据稀疏问题的轨迹恢复模型。CIKM是信息检索和数据挖掘领域顶级学术会议之一。本届会议共收到投稿1251篇，其中录用论文271篇，录取率约为21.7% 。该论文是云数据库创新LAB在轨迹分析层面取得的关键技术成果之一。

1 摘要

随着各种基于位置的服务的推出，将稀疏的人类移动轨迹数据进行恢复补全以提升这些下游任务的准确率显得尤为重要。然而人类移动轨迹数据的恢复面临着较大的挑战：

• 轨迹中轨迹点之间具有复杂的转移模式
• 人类移动轨迹数据中普遍存在多层次周期性以及周期偏移现象
• 现目前采集的轨迹数据是相对稀疏的

在本文中，我们提出了一个名为PeriodicMove的基于图神经网络的人类行为轨迹恢复模型，在该模型中，我们首先对每条历史轨迹构建有向图，并使用图神经网络捕捉位置之间的复杂转移模式；之后，我们设计了两个注意力机制分别捕捉人类行为轨迹的多层次周期性与周期偏移性；最后，我们设计了一个空间感知的损失函数来将位置的空间临近信息引入到模型中，从而一定程度上缓解了数据稀疏问题。我们在两个具有代表性的人类轨迹数据集上做了大量实验，实验结果表明，我们的模型PeriodicMove相对于目前SOTA模型获得了2.9%-9%的大幅性能提升。

2 模型

2.1 模型架构

我们的模型主要包括五个部分：图神经网络层、时序嵌入层、两个注意力机制层以及最后的融合恢复层

2.2 图神经网络层

为了捕捉轨迹中轨迹点之间复杂的空间转移关系，我们首先将每条轨迹按照如图所示方式进行建图，然后利用图神经网络来学习有向图中轨迹节点之间复杂的空间转移模式

2.3 时序嵌入层

我们采用《Attention is all you need》中提到的利用三角函数中相对相位来刻画轨迹序列中的相对顺序关系，然后我们将图神经网络层以及时序嵌入层的结果拼接起来，形成包含复杂时空依赖关系的嵌入向量表示

2.4 注意力机制层

Cross Attention Layer主要用于解决人类移动轨迹数据中的周期偏移现象，我们将当前时刻t的移动模式与每一条历史轨迹中所有时刻的移动模式进行比较，基于一个相似性权重将相关的历史信息聚合在历史轨迹的t时刻以解决周期偏移现象

在经过Cross Attention Layer后，每一条历史轨迹的每个时刻的轨迹点表示可以理解为根据当前待补全轨迹的每个时刻进行了偏移校准。接下来在Soft Attention Layer中，我们将当前轨迹的第t时刻与每一条历史轨迹的第t时刻的轨迹表示进行一个attention操作，形成一个包含历史轨迹中的多层次周期性的历史轨迹表示

2.5 融合恢复层

在最后的融合恢复层，我们利用包含复杂时空依赖关系、包含多层次周期性且克服了周期偏移现象的历史轨迹增强序列辅助当前轨迹来进行最后的补全恢复

2.6 设计Distance Loss

在轨迹数据高度稀疏的场景下，交叉熵损失不能很好地捕捉空间邻近性，而空间邻近性是人类移动恢复的重要特征。因此，我们设计了一个距离损失函数，以纳入空间邻近信息的模型，并且采用了 Noise Contrastive Estimation (NCE)来加速模型的训练，可视化结果显示，加入了Distance Loss能够有效帮助模型捕捉空间邻近信息

3 实验

3.1 实验结果

我们的模型PeriodicMove相对于目前SOTA模型（2021-AAAI）获得了2.9%-9%的大幅性能提升

3.2 消融实验

我们对模型五个部分分别进行了消融实验，从实验结果中可以看出每个模块对于我们的任务都有一定的贡献，其中Soft Attention Layer模块去掉后，模型效果下降最快，说明人类移动轨迹数据恢复任务中多层次周期性起着非常大的作用

3.3 鲁棒性实验

我们将本模型与最新的SOTA模型（2021-AAAI）进行一个在不同缺失率下的鲁棒性实验，从实验结果中可以看出，两个模型都具有较好的鲁棒性，但是我们的模型在各个缺失率下的效果都在AttnMove上有一定的提升

4 应用

在各种基于位置的服务中如：个性化地理位置推荐、城市智能交通调度以及轨迹异常检测等诸多场景，只要是收集到的轨迹数据是稀疏的都会影响这些下游任务的准确率。我们论文的目的是将稀疏的轨迹数据恢复成稠密且精细的轨迹数据，以提高这些下游任务的准确率

华为云数据库创新lab官网：https://www.huaweicloud.com/lab/clouddb/home.html

点击关注，第一时间了解华为云新鲜技术~