TransE：Translating Embeddings for Modeling Multi-relational Data

Posted 2022-01-19 Facico

Translating Embeddings for Modeling Multi-relational Data

• 目的即知识图谱提取成向量

知识图谱三元组

• 一般形式（sub，rel，obj）
  • 如：(Barack Obama, place of birth, Hawai)，这个关系就是Hawai是Barack Obama的place of birth
  • 这只是三元组的一种形式，从属、包含、什么什么是什么等等关系都能变成三元组

类似词向量的构建，这里希望将KG（knowledge graph）中的多关系数据构建embedding

TransE向量构建

TransE定义三元组$(h,l,t)$，即（head,relation,tail）

• 这个三元组可以看作实体head到实体tail的转化
• 所以向量构建目的为：$h+l\approx t$

三元组距离

• 通过量化三元组来训练
• 这里可以使用L1范数或L2范数
  $$\begin{gathered} d(h+l,t)=|h+l-t| \\ d(h+l,t)=||h+l-t|{|}_2 \end{gathered}$$

TransE训练

初始化时先归一化处理

• 循环

  • 每个实体进行相同的归一化处理
  • 选取一定的正样本$(h,l,t)\in S$
  • 选取一定的负样本$(h^{\prime },l,t^{\prime })\in S^{\prime }$
  • 使用hinge loss来使得正负样本尽量的分离
    $$\mathcal{L}=\sum _{(h,l,t)\in S}\sum _{(h^{\prime },l,t^{\prime })\in S^{\prime }}[\gamma +d(h+l,t)-d(h^{\prime }+l,t^{\prime }){]}_{+}$$
    • $[{]}_{+}$是$max(x,0)$

• $S^{\prime }=(h^{\prime },l,t)|h^{\prime }\in E\cup (h,l,t^{\prime })|t^{\prime }\in E$

• $\gamma$是间隔修正，越大修正的越多，embedding修正越严格

  • 以L2范数为例
    $$\begin{gathered} \frac{\partial loss}{\partial h}=\frac{\partial [\gamma +(h+l-t{)}^2-(h^{\prime }+l-t^{\prime }{)}^2{]}_{+}}{\partial h} \\ =\begin{array}{rlr}2(h+l-t)& & \gamma +(h+l-t{)}^2-(h^{\prime }+l-t^{\prime }{)}^2\ge 0\\ 0& & \gamma +(h+l-t{)}^2-(h^{\prime }+l-t^{\prime }{)}^2\le 0\end{array} \end{gathered}$$

实验

• 在当时效果很不错