中文词向量论文综述

Posted bamtercelboo

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了中文词向量论文综述相关的知识,希望对你有一定的参考价值。

导读

最近在做中文词向量相关工作,其中看了一些中文词向量的相关论文,在这篇文章,将把近几年的中文词向量进展及其模型结构加以简述,大概要写3-4篇综述,每篇包含2-3篇论文。续 --- 中文词向量论文综述(二)

一、Learning Chinese Word Representations From Glyphs Of Characters

论文来源

这是一篇2017年发表在EMNLP(Empirical Methods in Natural Language Processing)会议上的论文,作者来自于台湾大学 --- Tzu-Ray Su 和 Hung-Yi Lee。

Abstract

这篇论文的出发点也很新颖,中文汉字可以认为是由图形组件组成的,具有丰富的语义信息,基于此,提出了一个新的学习中文词向量的方法,通过图形字符(character glyphs)来增强词的表示,character glyphs通过图像卷积从位图(bitmaps)中编码得来,character glyphs特征加强了word的表示,也提高了character embedding。這篇论文虽然是在繁体中文进行的改进,不过idea同样也可以应用在简体中文中。在 Word SimilarityWord Analogy 上验证了其实验效果。

Model

這篇论文的模型参考了CWE模型MGE模型,模型部分也是分为了几个阶段,第一个阶段是通过convAE从位图中抽取glyph特征,第二阶段是在已有的中文词向量模型中进行改进提高,像CWE,MGW模型,第三阶段是直接使用glyph特征学习中文词向量表示。

Character Bitmap Feature Extraction

前期把字符全部转换成图像,通过convAE对图像抽取特征,convAE的模型结构图如下图所示,通过convAE最后的输出得到的512维的特征,character的glyph特征表示为g_k。
技术分享图片

Glyph-Enhanced Word Embedding (GWE)

在這部分对CWE模型做了两个调整分别构建了CWE+ctxG模型CWE+tarG模型

  1. Enhanced by Context Word Glyphs --- CWE+ctxG模型
    在CWE的基础之上增加了上下文词的glyph特征, 模型图如下所示,
    技术分享图片
    其中,W(ctxG)_i的表示如下,其实计算就是word embedding + avgall(character embedding + glyph embedding)
    技术分享图片

  2. Enhanced by Target Word Glyphs --- CWE+tarG模型
    CWE+tarG模型和上文差不多,不过这个加入的是目标词的glyph特征,具体的模型图如下。
    技术分享图片

Directly Learn From Character Glyph Features

在这部分仅仅通过glyph特征与RNN循环神经网络构建了两个模型,分别是 RNN-SkipgramRNN-Glove

  1. RNN-Skipgram
    RNN-Skipgram是把RNN和skipgram结合,通过RNN对glyph特征进行编码,产生隐层表示,然后把隐层表示作为skipgram的输入,进行预测,具体的模型结构图如下图所示。
    技术分享图片

  2. RNN-Glove
    通过两个RNN循环神经网络,输入分别是中心词和上下文词的glyph特征,与RNN-Skipgram有微小的差别,输入中心词的网络后连接的是一个共享网络,输入上下文词的网络后面是全连接层,然后两个的输出的内积就是log(X_ij)的预测。

技术分享图片

Experiment Result

Word SimilarityWord Analogy 上验证了其实验效果,由于以前的评测文件都是基于简体中文的,他们对其手工翻译成繁体中文的数据集进行评测。
Word Similarity采用的评测文件是wordsim-240wordsim-296,由于中文简体和繁体在翻译过程中产生的歧义性,他们手工构建了SimLex-999评测文件,并把SimLex-999作为第三个评测文件,具体的实验结果如下图。
技术分享图片

Word Analogy采用的是Chen 2015年构造的评测文件,但是增加了一个Job&Place,具体的实验结果如下图。
技术分享图片

二、Joint Embeddings of Chinese Words, Characters, and Fine-grained Subcharacter Components

论文来源

这是一篇2017年发表在EMNLP(Empirical Methods in Natural Language Processing)会议上的论文,作者来自于香港科技大学 --- Jinxing Yu。

Abstract

与西方语言不同,中文汉字包含了丰富的语义信息,这篇论文提出了一个联合学习word,character和更加细粒度的subcharacter的方法来学习word embedding。在Word SimilarityWord Analogy任务上验证其优越性。

Model

提出了一个联合( Chinese words, characters, and subcharacter components)学习word embedding的模型,称之为JWE模型,JWE模型也是基于CBOW来进行的完善,模型结构如下图。根据下图,只是在输入端多了一些改变,w_i代表目标词;w_i+1,w_i-1代表上下文词;c_i-1,c_i+1代表上下文词的character;s_i+1,s_i-1代表上下文词的subcharacter(radical),s_i代表目标词的subcharacter(radical)。
技术分享图片

损失函数有所不同,为三者的相加,具体公式如下,其中h_i1,h_i2,h_i3分别代表context word,context character,context subcharacter,h_i1,h_i2,h_i3分别取三者的平均值作为表示,例如h_i1如下图2所示,v_wi代表的是context word。
技术分享图片
技术分享图片

Experiment Result

Word SimilarityWord Analogy 上验证了其优越性。
论文在模型上尝试了不同的组合来进行实验,具体如下:

  1. +c :代表的是component特征
  2. +r :代表的是radical特征
  3. +p :代表的是subcharacter components 特征
  4. +p1 :代表的是使用上下文词的subcharacter components 特征
  5. +p2 :代表的是使用目标词的subcharacter components 特征
  6. +p3 :代表的是使用上下文词和目标词的subcharacter components 的特征
  7. -n :代表的是仅仅使用character
  8. 具体来说上面提到的component,radical(偏旁),subcharacter,比如这个汉字,它的radical是 灬component是日、刀、口subcharacter是subcharacter components,应该是所有的components(包含radical)。

Word Similarity采用的评测文件是wordsim-240wordsim-295wordsim-296移除了评测文件中没有出现在训练语料中的一个词,变为评测文件wordsim-295,具体的实验结果如下图。
技术分享图片

Word Analogy采用的是Chen 2015年构造的评测文件,具体的实验结果如下图。
技术分享图片

References

[1] Learning Chinese Word Representations From Glyphs Of Characters
[2] Joint Embeddings of Chinese Words, Characters, and Fine-grained Subcharacter Components

个人信息

[1] Blog : https://bamtercelboo.github.io/
[2] Github : https://github.com/bamtercelboo
[3] 知乎 :https://www.zhihu.com/people/bamtercelboo/activities
[4] 博客园: http://www.cnblogs.com/bamtercelboo/

转载请注明出处

https://www.cnblogs.com/bamtercelboo/p/9485116.html































以上是关于中文词向量论文综述的主要内容,如果未能解决你的问题,请参考以下文章

Glove词向量

论文阅读 A SIMPLE BUT TOUGH-TO-BEAT BASELINE FOR SEN- TENCE EMBEDDINGS

大模型相关技术综述

Dependency-Based Word Embeddings(基于依存的词向量)

北航面向自然语言处理的预训练技术研究综述

预训练模型综述--Albert,xlnet,bert,word2vec