基于图嵌入的兵棋联合作战态势实体知识表示学习方法
Posted mb617a04e6cdfd3
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了基于图嵌入的兵棋联合作战态势实体知识表示学习方法相关的知识，希望对你有一定的参考价值。
基于图嵌入的兵棋联合作战态势实体知识表示学习方法
来源：《指挥控制与仿真》，作者王保魁等
摘 要:为将基于离散符号的兵棋联合作战态势实体知识表示为机器更加容易学习、处理和应用的形式,根据兵棋联合作战态势实体知识的特点,提出一种基于图嵌入的兵棋联合作战态势实体知识表示学习方法。该方法采用基于元路径的多层异构图嵌入模型,对想定场景中的兵棋联合作战态势实体及其关系知识进行表示学习,将其映射为连续向量空间中的稠密实值向量,从而有效揭示兵棋联合作战态势实体之间的全局隐含特征,为大规模联合作战态势知识的获取、融合与推理奠定良好基础。实验结果表明,基于图嵌入的兵棋联合作战态势实体知识表示学习方法针对性强,对于评估指标提升较大,为复杂兵棋联合作战态势知识的表示学习提供了可行范例。
关键词:兵棋;联合作战态势知识;图嵌入;知识表示学习;元路径
联合作战态势是联合作战时空、信息、表征和不确定性等多重复杂因素综合作用的结果,是联合作战复杂性的外在表现[1]。对反映联合作战态势的实体知识进行客观准确表征,是研究联合作战态势的基础和前提,其核心和要点在于描绘联合作战态势实体之间的复杂关联关系[2]。作战大数据是联合作战态势知识的主要来源,具有海量、稀疏和结构复杂等特点[3]。联合作战态势知识表示是在特定场景范围内,针对联合作战态势实体和关系进行建模,使得机器可以学习、处理和运用各种联合作战态势知识[4]。传统基于离散符号的联合作战态势知识表示方法善于表征显性的形式化作战态势知识,但计算效率低下,不易融合扩展。需要进一步深入探索联合作战态势实体知识的非形式化表示方法,将联合作战态势知识表示为机器易于计算、学习和处理的形式,为智能指挥决策提供坚实的基础知识支撑[5]。
联合作战态势实体知识表示学习是面向联合作战态势知识中的实体及其关系知识进行表示学习,将联合作战态势知识中的实体、属性及其关联关系表示为连续向量空间中的稠密实值向量,使得机器可以高效学习、处理和运用各种联合作战态势实体知识。其本质是在低维向量空间中对符号化的联合作战态势实体及其关系语义知识进行向量化重构,从而提高知识计算效率,实现异构信息融合,有效缓解数据稀疏带来的诸多知识计算难题,有效提升联合作战态势知识获取、融合、推理的性能[6]。因此,在知识表示学习过程中保证联合作战态势知识的结构信息以及实体和关系的语义描述信息不失真,确保从离散符号向连续向量映射的准确性显得极为重要。由于联合作战态势实体知识的异构性特征和层次化特点,对于联合作战态势实体知识的表示学习主要存在两方面挑战:一是联合作战态势实体之间可能存在不同类型的连接关系,使得联合作战态势实体知识难以进行统一嵌入表达;二是作为联合作战态势实体关系连接服从幂率分布,存在大量拥有少量邻居节点的联合作战态势实体节点,此类实体节点难以有效表征。
兵棋作为一种特殊的战争模拟系统,是研究智能化作战的重要工具和手段,也是检验军事智能技术和探索军事智能应用的最佳平台,可为联合作战态势实体知识的表示学习研究提供了重要依托。本文依托兵棋推演平台,以兵棋联合作战想定场景中的态势实体、属性及其关系为基础,提出一种基于元路径的多层异构兵棋联合作战态势实体知识表示学习方法,通过设计合理的兵棋联合作战态势实体知识元路径模式,利用兵棋联合作战态势实体丰富的属性信息和不同实体类型的多层拓扑结构信息,力图捕捉兵棋联合作战态势实体知识的多层异构网络结构信息和实体语义关联信息,从而有效提升基于离散向量的联合作战态势知识的表征能力。实验结果表明,在联合作战态势实体关系推理任务中,本文提出的算法性能更佳。
1 图嵌入概述
图嵌入(Graph Embedding)也称网络嵌入(Network Embedding)或图表示学习(Graph Representation Learning)。其通过将信息网络嵌入低维向量空间,实现网络实体分类、关系推理和社团检测等任务。基于图嵌入的兵棋联合作战态势实体知识表示学习是下游深度学习和多关系型联合作战大数据挖掘任务的基础。根据图的网络结构特性不同,目前的图嵌入模型研究主要集中在同质网络嵌入、异构网络嵌入和多层异构网络嵌入三个方面。
1.1 同质网络嵌入
同质网络(Homogeneous Network)中互相连接的实体和关系类型倾向于具有更多的相似性。DeepWalk[7]模型采用无监督特征学习技术,通过随机游走的方式,从信息网络中的某个节点开始生成文本序列,然后，采用Skip-Gram模型训练得到网络节点的词向量。LINE[8]模型为解决大规模网络嵌入问题,将节点的一阶相似性与二阶相似性引入目标函数,能够更加灵活地对信息网络的局部结构和全局结构特征进行知识表示学习。与DeepWalk模型相比,LINE模型适用范围更广,可用于有/无向图,以及有/无权图的知识表示学习。node2vec[9]模型灵活定义了节点网络邻居概念,设计了一个偏置随机游走过程,通过综合考虑深度优先和广度优先搜索,实现了对邻居实体的有效探索,从而学习到了更加丰富的实体知识表示信息。SDNE[10]模型为应对图嵌入知识表示的高度非线性、结构特征保持和网络稀疏难题等挑战,采用半监督深度学习模型,通过设计合理的目标函数保留网络结构的局部和全局信息,并对稀疏网络具有鲁棒性。图神经网络(GNN)是一种基于图结构的深度学习模型,其目标是学习包含邻居信息的节点状态嵌入向量[11]。GCN[12]模型是一种基于卷积神经网络(CNN)的图结构数据半监督学习方法,受图谱卷积局部结构一阶相似选择的启发,将图的结构特征和节点的特征信息共同编码进行知识表示学习。GraphSAGE[13]模型提出了一个通用的归纳框架,有效利用网络节点的特性信息为以前未见过的实体节点生成嵌入向量。与以往为每个实体节点单独训练嵌入向量不同的是,GraphSAGE模型提供了一个通过从实体节点的本地邻居中采样和聚集特性来生成嵌入向量的函数。
1.2 异构网络嵌入
异构网络(Heterogeneous Network)相对于同质网络而言,网络中的实体节点或边具有多种类型。由于异构网络中实体节点和边类型的多样性特征,其网络特性挖掘和网络表示学习的难度较大。PTE[14]模型提供了一种用于文本数据的半监督预测性文本嵌入方法。首先将标记信息和不同层次的词共现信息表示为一个大规模的异构文本网络,然后将其嵌入到一个低维向量空间中。PTE模型不仅保留了单词和文档的语义相近性,而且对特定任务具有很强的预测能力。metapath2vec[15]模型首先基于元路径的随机游走方法,形式化构造网络实体节点的异构性邻居,然后利用异构Skip-Gram模型进行实体节点嵌入。metapath2vec++模型则进一步通过对异构网络的结构和语义相关性特征进行网络嵌入学习。metapath2vec和metapath2vec++不仅在各种异构网络挖掘任务中表现突出,而且还能分辨不同网络实体之间的结构和语义相关性。HERec[16]模型设计了一种基于元路径的随机游走策略来生成有意义的节点序列进行网络嵌入。首先利用一组融合函数对学习到的节点嵌入进行变换,然后将其集成到扩展的矩阵分解模型中,将扩展后的矩阵分解模型与融合函数结合起来,对等级预测任务进行联合优化。
1.3 多层异构网络嵌入
现实世界的许多网络不仅节点类型多样,而且具有多重结构,称之为多层异构网络(Multiplex Heterogeneous Network)。PMNE[17]模型提供了网络聚合、结果聚合和层间协同分析三种方法,将多层网络映射到连续向量空间。“网络聚合”和“结果聚合”可以在不利用层间交互的情况下,将标准的网络嵌入方法应用于合并后的图或每一层,为多层网络寻找向量空间。“层间协同分析”考虑了层间相互作用的影响,能够将任何单层网络嵌入方法扩展为多层网络。MVE[18]模型通过投票机制,设计了一种多层网络表示学习方法。通过在投票过程中引入注意力机制，对多视图的权重信息进行整合,将多层网络嵌入到鲁棒性最高的单个协作嵌入向量中。MNE[19]模型在保持关系特性的基础上,结合不同类型的关系信息,对每个节点分别提出了一种高维的通用嵌入和一种低维的附加嵌入方法。该模型可以基于统一的网络嵌入模型,联合学习多个关系嵌入向量。Mvn2vec[20]模型研究了保存和协作对网络表示学习的影响,探索了同时建模来获得更好的嵌入质量的可行性。该模型证实了保存和协作对于多层网络嵌入的有效性和重要性。AMHEN模型提出了一个支持直推学习和归纳学习的通用框架GATNE和GATNE-I,并将网络实体的属性考虑在内进行图嵌入学习。该模型的基本嵌入和属性嵌入可以在不同类型的实体关系中共享,而边嵌入通过自注意力机制对邻域信息进行汇聚计算。
综合分析上述四种嵌入模型,多层异构网络嵌入模型考虑了联合作战态势实体知识结构的多层次特征,以及实体和关系的类型多样性特征,更加符合联合作战态势实体及其关系的特点。但由于真实想定场景中联合作战态势知识图谱的结构及其元路径模式相比公开数据集而言更加复杂,仅基于网络的结构特征和固定元路径模式进行联合作战态势知识表示学习,无法完全反映联合作战态势实体及其关系的复杂语义描述信息,需要根据军事领域知识的具体特点进行针对性建模。本文以兵棋联合作战态势实体知识图谱为起点,深入分析联合作战态势知识图谱的实体和关系类型,充分利用实体属性描述信息,并结合自注意力机制,根据联合作战体系构建内容,设计了五种不同类型的实体关系类型模式,采用图嵌入模型中的变长元路径计算方法,对联合作战态势中的实体及其关系进行知识表示学习。
2 模型定义
定义1:兵棋联合作战态势实体知识图谱G=(V，E),描述兵棋联合作战态势的实体及其关联关系。更进一步讲,是通过作战态势实体特征的概念化,以及实体关系的语义化对兵棋联合作战想定场景的态势实体及其关系进行整体描述,如图1所示。其中,V=v1，v2，…，vn表示联合作战态势中的实体集,vi表示联合作战态势实体,如各种飞机类型实体、目标类型实体等,n表示联合作战态势中实体的数量。E=eij表示实体之间的关系集,eij=vi，vj表示节点vi和vj间的关系,权重wij≥0表示vi和vj间语义关系的属性强度。由于兵棋联合作战态势实体间关系具有明确的指向性,因此兵棋联合作战态势知识图谱为有向有权图,且eij≠eji和wij≠wji。如海军航空兵对敌水面舰船实施火力打击,由于受环境、飞机武器挂载以及舰艇类型等不同因素的影响,不同类型的飞机对不同类型舰船的命中概率不同,都能够通过联合作战态势实体知识图谱进行整体描述。
图1 兵棋联合作战态势实体知识图谱示意图
定义2:多层异构兵棋联合作战态势实体知识图谱G=(V,E,O,R,A)满足态势实体类型映射函数φ:V→O和关系类型映射函数ψ:E→R。其中,O和R分别表示实体和关系类型的集合。对联合作战想定场景中的每一个态势实体v∈V和关系e∈E均属于某一特定的实体或关系类型,即φ(v)∈O和ψ(e)∈R,且|O|+|R|>2。否则,该兵棋联合作战态势知识图谱是同质的。因此,多层异构兵棋联合作战态势知识图谱中的实体及关系不再简单表示为vi和eij,而是加入了相应的类型描述,分别表示为
和
表示多层异构兵棋联合作战态势实体知识图谱中实体包含的属性信息集。
定义3:多层异构兵棋联合作战态势实体知识图谱嵌入是给定兵棋联合作战态势异构实体知识图谱,在不同实体关系类型情况下,学习不同类型态势实体在低维连续向量空间中的实值嵌入向量,即对每一种不同的实体间关系类型r,通过映射函数fr:V→
d学习实体集V的低维嵌入向量X∈
|V|×d。其中,d≪|V|,Xv表示实体节点v的嵌入向量。
3 模型框架
如图2所示，本节重点介绍基于元路径的多层异构兵棋联合作战态势实体知识图谱嵌入模型框架。该模型框架主要由两部分组成,分别是兵棋联合作战态势实体知识表示学习模型和异构Skip-Gram模型。前者通过汇聚生成态势实体的低维嵌入向量捕捉联合作战态势实体知识图谱的网络拓扑结构信息、实体属性信息和实体关系信息,其结果作为异构Skip-Gram模型的输入学习捕捉态势实体知识的语义信息。
图2 多层异构兵棋联合作战态势实体
知识图谱嵌入模型框架
兵棋联合作战态势实体知识表示学习模型主要由三部分组成,分别是基本嵌入向量生成模型、实体节点属性向量生成模型和边嵌入向量生成模型。三个模型的输出结果汇聚生成联合作战态势实体嵌入向量。对于基本嵌入向量生成模型,没有考虑不同类型实体以及不同类型实体关系对生成实体节点嵌入向量的影响,只考虑了多层异构兵棋联合作战态势实体知识图谱的结构特征,采用随机游走方法直接生成每个实体节点vi的基本嵌入向量bi。当进一步考虑实体节点的属性对生成实体嵌入向量的影响时,实体嵌入向量是相应实体类型z=φ(vi)的函数,表示为bi=hz(xi)。值得注意的是,对于不同类型的实体节点vi,其属性向量xi可能具有不同的维度。
对于每个实体节点vi在实体关系类型r情况下的k阶边嵌入向量,由实体节点vi邻居的边嵌入向量聚合而成,表示为
(1)
其中,Ni,r表示与实体节点vi关系类型为r的邻居节点集合。模型中,每个关系类型为r的实体节点vi初始边嵌入向量为实体属性xi的函数,表示为
其中,gz,r是关系类型为r的实体节点vi的特征转换函数,边嵌入向量的聚合函数采用平均聚合而成。因此,公式(1)可进一步表示为
(2)
其中,σ(x)=1/(1+exp(-x))为Sigmoid激活函数。将实体节点vi的所有K阶边嵌入向量
表示为ui,r。
最终,聚合成实体节点vi的s×m维边嵌入向量Ui：
Ui=(ui，1，ui，2，…，ui，m)
(3)
其中,s表示边嵌入向量的维度,m表示与实体节点vi连接的边类型的数量。
根据以上分析,计算汇聚后的边类型为r的兵棋联合作战态势实体节点vi的嵌入向量vi，r,可得
(4)
其中,bi表示实体节点vi的基本嵌入向量。αr为超参数,表示在总的实体嵌入向量中边嵌入向量的重要性。
表示需要训练的变换矩阵。由于自注意力机制有利于捕捉影响力更强的边类型[21]，因此,本文采用自注意力机制计算r型边的实体节点嵌入向量Ui的线性向量组合系数ai，r∈Rm:
(5)
其中,wr和Wr分别表示r类型边的da维和da×s维训练参数,上标T表示向量或矩阵的转置运算。由此,可以进一步得到
(6)
其中,λp表示ai,r的第p个元素,计算方法为
(7)
对于实体节点vi的属性向量生成项,βr为超参数,Dz表示实体类型为z的节点vi的特征转换矩阵。
模型首先采用基于元路径的随机游走方法汇聚生成兵棋联合作战态势实体知识的节点序列,然后，采用异构Skip-Gram模型[22]学习序列中实体知识节点的嵌入向量。具体而言,从边类型r的角度描述兵棋联合作战态势知识图谱时,生成子图Gr=(V,Er,A),进而可以从中提取边类型为r的元路径模式Γ:V1→V2→…→Vt→…→Vl。其中,游走的元路径模式Γ通过预先定义完成,l表示该元路径模式Γ的长度。然而,由于兵棋联合作战态势实体的关系复杂性特征,本节基于联合作战体系的构建内容,将兵棋联合作战态势实体间关系定义为侦察情报关系、指挥控制关系、联合打击关系、信息保障关系和后装保障关系5类。然而,在这些不同类型的联合作战态势实体关系中,每种关系的实体关联元路径长度并不一致。以联合打击关系元路径模式为例,空中飞行中队通过选择的作战飞机类型及其挂载类别,选择挂载相应的攻击性武器,并通过空空武器杀伤指数定义表对相应空中飞行目标类别的机型实施打击。但对后装保障关系元路径模式,要对攻击性武器实施保障,首先应确定保障的后勤物资类型,然后实施相应的保障。因此,本节在每种关系内部采用变长元路径模式描述实体之间的语义联系。基于马尔科夫过程,在步骤t时基于元路径模式随机游走的转移概率定义为
(8)
其中,vi∈Vt,Ni,r表示与实体节点vi关系类型为r的邻居。基于元路径的随机游走策略可以确保不同类型节点之间的语义联系,从而将更加合适的实体节点序列输入异构Skip-Gram模型,增强基于语义信息的嵌入向量生成效果。假设在类型为r边上长度为l的随机游走路径为P=(vp1,…,vpl)。由此可得,该路径上的边(vpt-1,vpt)∈Er(t=2…l)所处的语义上下文为C=vpk|vpk∈P,|k-t|≤c,t≠k。其中,c为上下文窗口半径。
因此,在给定实体节点vi及其路径语义上下文C情况下,多层异构兵棋联合作战态势实体知识图谱嵌入模型的目标是最小化以下负对数似然函数:
-logPθ(v收藏 | 面向知识图谱的图嵌入学习研究进展
###好好好###############基于图模型的智能推荐（含知识图谱/图神经网络）